Comment fonctionne l'optimisation des scènes IA sur l'appareil photo de votre téléphone

Comment fonctionne l'optimisation des scènes IA sur l'appareil photo de votre téléphone
Si vous possédez un téléphone avec appareil photo phare, vous vous demandez probablement comment il prend des photos aussi étonnantes. Les téléphones éclaircissent les ombres, diluent les arrière-plans pour les portraits de type reflex numérique, font ressortir les couleurs et ajoutent généralement de la saveur aux images d'une manière que les appareils photo traditionnels ne font pas. Une grande partie de ce processus consiste à optimiser la scène de l'IA, que vous trouverez dans une certaine mesure dans la plupart des smartphones d'aujourd'hui, à son meilleur dans les meilleurs smartphones du marché. Les téléphones avec appareil photo sont intelligents ; Après tout, ce sont des mini-ordinateurs. La puce qui alimente votre téléphone offre une puissance de traitement dont nous n'aurions pas pu rêver il y a des décennies. Les fabricants de smartphones combinent cette intelligence avec le petit module caméra situé à l'arrière de votre téléphone pour vous offrir des yeux artificiels. Grâce à ces yeux, votre téléphone peut comprendre ce que vous photographiez, déterminer ce qu'il faut optimiser et préparer votre photo Instagram finale sans avoir besoin de heures de retouche. Plus impressionnant; Dans certaines scènes, l'appareil photo d'un smartphone peut surpasser un reflex numérique de plus de 1,00 $, grâce à toute l'intelligence et la puissance de traitement de son processeur et aux effets HDR intelligents. En bref, c'est une histoire sur la façon dont le problème (les petits capteurs des smartphones) a créé la prochaine évolution de la photographie par ordinateur.

Qu’est-ce que l’optimisation de scène avec l’IA ?

L'indice est dans le nom. L'optimisation de scène AI est le processus par lequel votre téléphone optimise une photo qu'il prend en fonction de la scène qu'il capture. Lorsque vous parlez tout en prenant une photo, lorsque vous pointez votre téléphone avec appareil photo vers un sujet, la lumière traverse l'objectif et tombe sur le capteur. Cette lumière est traitée comme une image par le processeur de signal d'image (ISP), qui fait généralement partie de la puce de votre smartphone, qu'il s'agisse d'un Qualcomm Snapdragon 11 ou d'un Apple AXNUMX Bionic. Les FAI ne sont pas nouveaux. Ils utilisent des appareils photo numériques depuis des années et font les mêmes choses de base sur les smartphones. Certaines de ses tâches consistent à vous donner une image à prévisualiser, à réduire le bruit, à ajuster l'exposition, le comptage des blancs, etc. La particularité des smartphones de nos jours réside dans l’intelligence de ces FAI. Pour commencer, grâce à des capacités informatiques améliorées, les FAI de téléphones avec appareil photo peuvent mieux comprendre ce que vous enregistrez. Lorsque vous utilisiez un vieux reflex numérique ou un appareil photo numérique compact, vous avez peut-être dû ajuster votre scène manuellement. Désormais, les smartphones peuvent le faire eux-mêmes. Cependant, cela ne fait qu’effleurer la surface.

Samsung Galaxy S21

(Crédit image : Samsung) Grâce à l'optimisation actuelle des scènes d'IA, un téléphone avec appareil photo peut comprendre plusieurs éléments de son image et ajuster le traitement de chacun d'eux de manière très spécifique. Par exemple, si vous prenez une photo d'une personne devant un champ d'herbe avec un ciel bleu dans le cadre, le FAI de votre téléphone pourrait éclairer son visage puisque c'est probablement le sujet, rehaussez les verts dans le cadre. rendez-les plus riches et mettez en valeur les bleus du ciel séparément, et selon votre téléphone, peut-être même adoucissez légèrement l'arrière-plan pour vous concentrer sur le sujet. De nos jours, de nombreux smartphones vont encore plus loin. Les smartphones haut de gamme de Sony, par exemple, disposent d'un suivi oculaire des animaux de compagnie, tandis que les smartphones Huawei sont dotés d'une détection automatique de nuit qui fonctionne si bien sur les produits phares qu'elle peut éclairer une scène presque sombre, la faisant apparaître de nuit comme de jour. Cette technologie est disponible sur les iPhones, comme le mode Portrait, qui permet un contrôle maximal sur le flou d'arrière-plan et les effets d'éclairage lors de la capture d'une photo d'une personne, et les téléphones Pixel de Google sont connus pour leur astrophotographie. Bien qu'il ne soit pas compatible avec l'IA, lorsqu'il est allumé, il observe le ciel nocturne et évalue intelligemment combien de temps l'obturateur numérique doit rester ouvert pour pouvoir capturer les étoiles et même les galaxies. Les smartphones devraient donc probablement faire pâle figure par rapport aux reflex numériques en matière de photographie IA ? En vérité, ce n’est pas le cas. Il est intéressant de noter que les fabricants d’appareils photo apprennent deux choses sur le traitement des photos auprès des ingénieurs des téléphones avec appareil photo.

iPhone 13 Pro Max

(Crédit d'image: LaComparacion)

Petits capteurs ; Des solutions intelligentes

Il y a dix ans, Nokia a lancé des smartphones dotés de grands et puissants flashs au xénon, comme le Nokia 808 Pureview. Il a dû augmenter les spécifications matérielles de ses téléphones avec appareil photo, car les photos prises la nuit avec la plupart des téléphones ressemblaient à un gâchis insupportable et granuleux. Même un téléphone comme le Nokia Pureview n'a pas fait de différence dans certaines scènes vraiment difficiles. La raison pour laquelle les caméras mobiles ont fait l’objet de tant de discussions est que les téléphones doivent tenir dans nos paumes et nos poches et doivent donc être petits. Les smartphones doivent également disposer de nombreux autres éléments : écrans, haut-parleurs, batteries, antennes, etc. Les petits capteurs de mouvement dotés de petites lentilles ont du mal à laisser passer beaucoup de lumière. Plus de lumière signifie une meilleure image, et c'est là que réside le problème : petits capteurs, capacités limitées de piégeage de la lumière, mauvaise qualité d'image. Ces restrictions sur les caméras mobiles ont contraint les fabricants de téléphones à cesser d’essayer de résoudre le problème avec du matériel meilleur, plus coûteux, plus gros et épuisant la batterie, et à se tourner plutôt vers des logiciels. L'une des premières fois où cela a vraiment fait les gros titres, c'est lorsque Google a sorti le Pixel, un téléphone sans stabilisation d'image optique, mais avec une si bonne stabilisation électronique qu'il a surpassé une grande partie de la concurrence. Le Pixel et le Pixel 2 ont ensuite montré d'incroyables capacités de traitement photo qui ont transformé les photos de meh en à couper le souffle devant vos yeux en reconnaissant la scène. Cela a ensuite conduit des marques comme Huawei à introduire des unités de traitement neuronal dans les chipsets, le Mate 9 dispose d'une détection de scène AI et la fonctionnalité trouvée sur les téléphones d'autres fabricants de smartphones, les téléphones Samsung avertissant près de trente-deux scènes.

Huawei compagnon pour 40

(Crédit d'image: Huawei)

Qu'est-ce que la détection de scène par l'IA ne peut pas faire ?

Et c'est ainsi que des personnes intelligentes qui ont résolu un défi photographique ont rendu possible quelque chose d'impossible à surmonter avec du matériel seul - des photos de haute qualité sur smartphone dans toutes les conditions d'éclairage - grâce à un logiciel et à la détection d'images par l'IA. La prochaine frontière est la détection de scènes IA en vidéo. Bien que déjà disponibles dans une certaine mesure, les capacités de photographie nocturne ultra-intelligentes utilisées en photographie par Apple, Google (Night Sight) et Huawei n'ont pas été lancées dans la vidéo nocturne propre. Une vidéo contient au moins vingt-quatre images par seconde, c'est donc un autre niveau de puissance de traitement. À mesure que les processeurs deviennent plus puissants, que le développement de l’IA atteint de nouveaux sommets et que les capteurs des smartphones deviennent plus capables de piéger la lumière malgré leur petite taille, la détection de scène par l’IA semble sur le point de continuer à changer le visage de la photographie pour tous.

LaComparacion a créé ce contenu dans le cadre d'un partenariat payant avec Huawei. Le contenu de cet article est totalement indépendant et reflète uniquement l'opinion éditoriale de LaComparacion.