Qu'est-ce qu'un scanner LiDAR ? La mise à jour de l'appareil photo de l'iPhone 12 Pro

Qu'est-ce qu'un scanner LiDAR ? La mise à jour de l'appareil photo de l'iPhone 12 Pro Les spécifications de l'appareil photo pour l'iPhone 12 peuvent encore être en attente, mais il y a une chose dont nous sommes presque sûrs : les deux versions "Pro" du téléphone sont susceptibles d'être livrées avec un scanner LiDAR. C'est vrai, le même point mystérieux qui est apparu pour la première fois sur l'iPad Pro 2020.

Qu'est-ce qu'un scanner LiDAR ?

LiDAR (ou « Light Detection and Telemetry ») Il fonctionne comme un radar, sauf qu'il utilise des lasers pour juger des distances et de la profondeur. C'est une excellente nouvelle pour la réalité augmentée (AR) et, dans une moindre mesure, la photographie également. Cependant, la question la plus intéressante est de savoir ce que LiDAR nous permettra de faire sur iPhone 12. En utilisant notre expérience de voir la technologie de l'iPad Pro 2020, nous explorerons les types d'expériences que LiDAR pourrait ouvrir dans les nouveaux iPhones et, finalement, les lunettes Apple. Mais d'abord, un retour rapide aux racines de la technologie, afin que vous puissiez appeler intelligent lors de votre prochaine réunion de famille Zoom. Apple iPad Pro 2020 (Crédit image : Apple) Apple iPad Pro 2020 (Crédit image : Apple)

Qu'est-ce que LiDAR?

Le concept derrière LiDAR existe depuis les années 1960. En bref, la technologie vous permet de numériser et de cartographier votre environnement en tirant des faisceaux laser, puis en chronométrant la vitesse à laquelle ils reviennent. Un peu comme la façon dont les chauves-souris "voient" avec des ondes sonores, juste avec des lasers, ce qui le rend encore plus cool que le Batarang de Batman. Comme la plupart des technologies futuristes, il a commencé sa vie comme un outil militaire sur les avions, avant de devenir surtout connu comme le système qui a permis à la mission Apollo 15 de cartographier la surface de la lune. Plus récemment, LiDAR (également connu sous le nom de lidar) a été vu dans les voitures autonomes, où il aide à détecter des objets comme les cyclistes et les piétons. Il est également possible que vous ayez trouvé par inadvertance une technologie dans votre robot aspirateur. Mais c'est au cours des deux dernières années que les possibilités du LiDAR se sont vraiment ouvertes. Avec des systèmes de plus en plus petits, moins chers et plus précis, ils sont devenus des ajouts viables aux appareils mobiles qui disposent déjà de processeurs puissants et de GPS : tablettes et téléphones. Bien sûr, tous les systèmes LiDAR ne sont pas créés égaux. Jusqu'à récemment, les types les plus courants construisaient des cartes 3D de leur environnement en scannant physiquement de la même manière qu'une antenne radar. Ce n'est évidemment pas suffisant pour les appareils mobiles, donc les nouveaux systèmes LiDAR, y compris les capteurs 3D de temps de vol (ToF) présents dans de nombreux smartphones, sont des boîtiers à semi-conducteurs sans pièces mobiles. Mais, Quelle est la différence entre un capteur de temps de vol et le "scanner" LiDAR que nous verrons probablement sur l'iPhone 12 ? Apple iPad Pro 2020 (Crédit image : Apple) Apple iPad Pro 2020 (Crédit image : Apple)

En quoi le scanner LiDAR d'Apple est-il différent?

Vous connaissez peut-être déjà les capteurs de temps de vol (ToF) présents sur de nombreux téléphones Android : ils les aident à détecter la profondeur de la scène et imitent les effets bokeh des caméras plus grandes. Mais le système LiDAR utilisé dans l'iPad Pro 2020, et, très probablement, les deux versions "Pro" de l'iPhone 12, promettent d'aller plus loin. En effet, il s'agit d'un scanner LiDAR, plutôt que des systèmes "sans scanner" vus jusqu'à présent sur les smartphones. Ces derniers utilisent une seule impulsion de lumière infrarouge pour créer leurs cartes 3D, mais un système de balayage LiDAR déclenche un train d'impulsions laser à différentes parties d'une scène sur une courte période de temps. Cela apporte deux avantages principaux : une portée améliorée jusqu'à 5 mètres et une meilleure "occlusion" des objets, qui est l'apparition d'objets virtuels qui disparaissent derrière des objets réels tels que des arbres. Génial, c'est aussi un processus rapide, mais cette vitesse n'est vraiment possible qu'avec les derniers processeurs mobiles. Comme l'a dit Apple lors du lancement de l'iPad Pro 2020, les données du scanner LiDAR sont agrégées avec les données de la caméra et du capteur de mouvement, puis "sont améliorés par des algorithmes de vision par ordinateur dans l'A12Z Bionic pour une compréhension plus détaillée de la scène". En d'autres termes, il se passe beaucoup de choses pour le rendre transparent. Apple iPad Pro 2020 (Crédit image : Apple) Apple iPad Pro 2020 (Crédit image : Apple) Mais alors que la rumeur veut que le processeur A14 Bionic de l'iPhone 12 offre un bon support pour le scanner LiDAR d'Apple, il y a beaucoup de place pour l'amélioration du scanner lui-même. Comme le souligne un article de blog du développeur de l'application Halide Camera, les données de profondeur de l'iPad Pro ils ne fournissent tout simplement pas la résolution requise pour certaines applications, telles que la numérisation 3D détaillée ou même le mode Portrait. Cela signifie que le scanner iPad Pro LiDAR est davantage conçu pour les applications de toute la pièce comme les jeux ou le déplacement de meubles AR dans l'application IKEA's Place. Il ne permet pas actuellement de numériser des objets 3D avec une plus grande précision que d'autres techniques telles que la photogrammétrie, qui combine des photos RVB haute résolution prises à partir de différents points de vue. Ne serait-il pas formidable que ces maillages de scanner LiDAR puissent être associés au type de résolution et de textures vus par les caméras RVB ou Face ID ? C'est l'idéal, mais nous n'en sommes pas encore là, et l'iPhone 12 ne devrait pas non plus sortir immédiatement. Alors, que pourriez-vous faire exactement avec un scanner LiDAR sur l'iPhone 12 ? Apple iPad Pro 2020 (Crédit image : Apple) Apple iPad Pro 2020 (Crédit image : Apple)

Que pourrait vous permettre un scanner LiDAR sur iPhone 12?

Alors maintenant, nous savons que Le scanner iPad Pro LiDAR fonctionne mieux au niveau de la pièce, quel genre de choses pourriez-vous faire sur l'iPhone 12 ? Pour la personne moyenne, les deux premiers sont les jeux AR et les achats AR. Apple a vu certaines applications spécifiques au LiDAR arriver commodément "plus tard cette année" (probablement lié à l'annonce de l'iPhone 12) et l'un des plus intéressants est le jeu Hot Lava. Hot Lava, un jeu d'aventure à la première personne pour iOS et PC, il aura un nouveau "mode AR" fin 2020 qui utilise le capteur LiDAR d'Apple pour fusionner ses rivières dans votre salon. Jusqu'à présent, la démo n'est pas aussi impressionnante que nous l'espérions – la plupart des objets à partir desquels votre personnage saute sont affichés dans le jeu au lieu de vos meubles réels – mais il est encore temps de l'étoffer. Naturellement, toute mention du jeu AR fait penser à Pokemon Go, le seul vrai succès de la réalité augmentée à ce jour. Fait intéressant, le fabricant de jeux Niantic semble forger sa propre voie AR, plutôt que de s'appuyer sur la technologie Apple. Il a récemment annoncé une nouvelle fonctionnalité de "mélange de réalité" pour Pokemon Go, qui permet aux personnages de se cacher de manière réaliste derrière des objets du monde réel comme des arbres, et a révélé son acquisition d'une société de cartographie spatiale 3D appelée 6D. Cela montre que les jeux AR de nouvelle génération ne seront pas nécessairement liés à la technologie LiDAR d'Apple ou à la plate-forme ARKit.Mais l'iPhone 12 devrait au moins vous donner une sonnerie pour voir la bataille AR se dérouler. Apple iPad Pro 2020 (Crédit image : Apple) Apple iPad Pro 2020 (Crédit image : Apple) Mais, Qu'en est-il des expériences hors jeu pour le capteur LiDAR ? Jusqu'à présent, les plus raffinés semblent tourner autour du design d'intérieur. Par exemple, l'application IKEA Place vous permet de déplacer des meubles virtuels dans votre salon, comme si vous étiez dans une vraie version des Sims. Mais bien que l'emplacement et l'occlusion AR améliorés de l'iPad Pro 2020 (ou la possibilité de cacher des objets virtuels derrière de vrais) soient utiles, ce n'est toujours pas une nouvelle utilisation brillante pour le scanner LiDAR. Cependant, alors que la technologie est actuellement plus utile pour les concepteurs CAO et les professionnels de la santé (si vous avez un iPad Pro, consultez l'incroyable application Complete Anatomy), il y a encore beaucoup de place pour la créativité et les surprises à venir. Elle apparaîtra l'année prochaine. Comme le démontre la preuve de concept Esper de Halide, le capteur LiDAR pourrait aider les développeurs d'applications à inventer de nouvelles façons créatives qui vont bien au-delà de la photographie et de la vidéo traditionnelles. Pendant, il est juste de dire que le scanner LiDAR de l'iPad Pro et peut-être de l'iPhone 12 seront là en premier pour épater les développeurs plutôt que les techniciens. Vous aurez l'occasion de tester l'avenir sur des appareils équipés de LiDAR, mais le vrai saut devrait être lorsque ces capteurs et applications se dirigeront vers les lunettes d'Apple.