La stratégie de vente de Samsung pour les ventes de téléviseurs en 2020 est simple : 8,000 4 ou moins. Alors que ses ventes de téléviseurs 4K QLED budgétaires sont sous-utilisées par les téléviseurs XNUMXK économiques, Samsung prévoit de déplacer à nouveau le marché, vers un format qui a (jusqu'à présent) très peu de concurrents, mais aussi très peu de contenu natif.
Cependant, comme nous l'avons vu dans notre 4K vs. 8K plus tôt cette année, vous n'avez pas vraiment besoin de séquences vidéo de résolution 780 × 4320 (8K) pour filmer plein de ces millions de pixels - les téléviseurs Samsung 8K utilisent la conversion ascendante pour convertir n'importe quelle image. type de vidéo (SD à 4K et tout le reste) en résolution 8K.
Bien sûr, la montée des niveaux n'est pas nouvelle. Pendant des années, les téléviseurs 4K et même HD ont trouvé des moyens d'étirer le contenu basse résolution pour s'adapter au rapport pixel-pouce plus élevé des téléviseurs modernes. Mais comme les téléviseurs 8K doivent occuper quatre pixels 4K, les méthodes de conversion ascendante conventionnelles ne fonctionnent tout simplement pas, pour des raisons que nous aborderons plus tard.
Maintenant, après avoir visité les laboratoires d'assurance qualité de Samsung dans le New Jersey et discuté avec leurs ingénieurs, nous avons une meilleure idée de la façon dont Samsung utilise l'intelligence artificielle et l'apprentissage automatique pour le faire ressembler à ceci. est-il possible d'augmenter le 8K et comment ses techniques d'intelligence artificielle se comparent aux premiers efforts des fabricants.
Pourquoi la mise à niveau conventionnelle avait-elle l'air si terrible ?
Avant 1998, les émissions de télévision avaient une résolution de 720x480, et les films enregistrés en qualité supérieure étaient compressés pour s'adapter à ce format. Cela représente 345,600 2 pixels de contenu, ce qui ne prendrait qu'une petite fenêtre sur les téléviseurs modernes avec des ratios PPI (pixels par pouce) plus élevés. Ce contenu SD ? Il doit s'étendre pour couvrir plus de 8 millions de pixels en haute définition, plus de 4 millions pour la 33K, ou plus de 8 millions pour la XNUMXK.
La ligne de base pour la mise à l'échelle est de maintenir le rapport de pixels correct grâce à une simple multiplication. Pour convertir de la HD à la 4K, le processeur du téléviseur doit exploiter un pixel HD pour occuper quatre pixels d'espace sur l'écran à plus haute résolution. Ou 16 pixels lors de la conversion HD-8K.
(Crédit d'image: Sony)
Sans aucun traitement d'image, l'image s'est terminée, citant Tolkien, "en quelque sorte étirée, comme du beurre gratté sur trop de pain". Chaque donnée devient anormalement carrée, sans dégradé naturel entre les détails et les couleurs. Cela provoque un gros blocage ou du bruit autour des objets à l'écran.
Vous verrez probablement aussi quelque chose appelé "bruit de moustique". Pour compresser une vidéo afin qu'elle fonctionne avec sa bande passante Internet limitée, les diffuseurs et les sites Web doivent compléter le flux de défauts de couleur intentionnels ou « artefacts de compression ». Des pixels délibérément défectueux pullulent autour des zones de l'écran où se trouvent des contrastes nets, comme le pont marron contre le ciel bleu dans l'image ci-dessus.
Les mathématiques derrière le mouvement du luxe
Face à ces problèmes, les programmeurs de télévision ont appris à leurs téléviseurs à analyser et traiter numériquement les images en temps réel pour combler ou réparer les pixels manquants ou endommagés. Et ils l'ont fait en utilisant des fonctions mathématiques, que vous pouvez dire à vos proches la prochaine fois qu'ils vous diront que trop de téléviseurs pourrissent votre cerveau.
Plus précisément, les ingénieurs ont appris au processeur de télévision à interpoler la valeur de couleur de chaque pixel manquant, en fonction des pixels environnants. Pour ce faire, il a dû définir son noyau : la fonction qui attribue une priorité de couleur aux voisins d'un pixel, en fonction de leur proximité.
Le noyau le plus basique utilisé dans les téléviseurs est le noyau le plus proche, qui calcule simplement quel pixel est le plus proche d'un pixel vide et colle les mêmes données de couleur dans le pixel vide. Cette méthode fait que l'image prend un motif en zigzag en blocs, ou alias, avec un bord faible. Imaginez une lettre noire « A » sur un écran blanc ; un pixel manquant à la périphérie de la lettre peut être rempli en noir, tandis qu'un pixel sur le bord de la lettre peut apparaître en blanc. Le résultat sera une tache grise autour de la lettre ou un escalier noir et blanc irrégulier qui monte et descend.
Ce graphique montre le processus de calcul d'un pixel vide (le point vert "P") basé sur une interpolation bilinéaire.
(Crédit d'image: domaine public)
L'interpolation bilinéaire nécessite plus de puissance de calcul, mais est plus efficace. Dans cette méthode, le pixel vierge est comparé aux deux voisins les plus proches pour former un gradient linéaire entre eux, améliorant ainsi la netteté de l'image. Cela produit des visuels plus fluides mais peut être incohérent. Par conséquent, d'autres téléviseurs utilisent l'interpolation bicubique, qui tire aux 16 pixels les plus proches dans toutes les directions. Bien que cette méthode permette d'obtenir la couleur la plus fidèle possible, elle produit également une image beaucoup plus diffuse, les contours acquièrent un effet de halo gênant.
Vous pouvez probablement déjà deviner le problème : ces téléviseurs remplissent des pixels basés sur des formules mathématiques qui sont statistiquement plus susceptibles de produire des images précises, mais n'ont aucun moyen d'interpréter leur aspect thématique en fonction de ce qui est réellement affiché à l'écran.
Par conséquent, après avoir expliqué comment ces algorithmes n'étaient pas toujours couronnés de succès, l'équipe de Samsung a expliqué comment leur intelligence artificielle surmonte ces inconvénients.
Le secret de Samsung : apprentissage automatique, reconnaissance d'objets et filtres
(Crédit d'image: Samsung)
L'arme secrète de Samsung est une technique appelée super résolution d'apprentissage automatique (MLSR). Ce système alimenté par l'IA prend un flux vidéo de résolution inférieure et le redimensionne pour s'adapter à la résolution d'un écran plus grand avec un rapport PPI plus élevé. C'est le pendant à l'ancienne de l'informaticien qui monte et « rehausse » une image floue juste en appuyant sur une touche, sauf que c'est fait automatiquement et presque instantanément.
Les représentants de Samsung ont expliqué comment ils ont analysé une grande quantité de contenu vidéo provenant de différentes sources (sources YouTube de haute et basse qualité, DVD et Blu-Ray, films et événements sportifs) et ont créé deux bases de données. images, une pour les captures d'écran médiocres et une pour les captures d'écran de haute qualité.
Il a ensuite dû former son IA pour mener à bien un processus appelé "dégradation inverse" par le secteur de l'IA. Premièrement, il prend des images haute résolution et les rétrograde à des résolutions inférieures, en suivant les données visuelles perdues. Ensuite, vous devez inverser le processus et entraîner votre IA à remplir les données manquantes des images basse résolution pour refléter les images haute résolution.
L'équipe de Samsung appelle ce processus une "formule". Ses processeurs 8K contiennent une banque de formules avec une base de données de formules pour différents objets, comme une pomme ou la lettre "A". Lorsque le processeur reconnaît une pomme floue dans la main d'un acteur, il restaure les bords de la pomme, répare les artefacts de compression et garantit que les pixels vides prennent la bonne teinte rouge en fonction de la couleur. l'apparence des pommes et non dans de vagues algorithmes statistiques. . De plus, en plus de restaurer des objets spécifiques, l'intelligence artificielle ajustera son flux en fonction de ce qu'elle voit.
Selon Samsung, il existe des dizaines de "filtres" différents qui modifient le niveau de création de détails, de réduction du bruit et de restauration des bords pour un flux donné, selon que vous regardez un sport, un genre de film ou un type de film. cinématographie.
Image 1 sur 5
(Crédit image : Michael Hicks)
Passer à l'action
Image 2 sur 5
(Crédit image : Michael Hicks)
Image 3 sur 5
(Crédit image : Michael Hicks)
Image 4 sur 5
(Crédit image : Michael Hicks)
Image 5 sur 5
(Crédit image : Michael Hicks)
Selon les ingénieurs de Samsung, restaurer les contours présentés dans le diaporama précédent, une quantité incroyable de texte à restituer en temps réel, n'est même pas la tâche la plus difficile pour l'intelligence artificielle. Au lieu de cela, reproduire les textures appropriées d'un objet en temps réel reste un défi difficile. Ils doivent s'assurer que le processeur améliore l'apparence des objets sans les rendre artificiels.
Ce que le processeur ne fera pas (selon Samsung), c'est de mal classer un objet. "Ça ne transformera pas une pomme en tomate", nous a assuré un ingénieur, mais sans donner de détails. Le processeur est très probablement formé pour éviter des changements radicaux s'il ne reconnaît pas ce qu'est un objet.
Vous ne verrez pas l'intelligence artificielle modifier l'intention du cinéaste, comme l'a dit l'équipe de Samsung. Ainsi, si un réalisateur utilise l'effet bokeh, l'arrière-plan flou restera flou, tandis que le premier plan sera composé avec une netteté allant jusqu'à 8K.
Ils ont également déclaré qu'ils n'avaient pas spécifiquement analysé les flux les plus populaires pour leur catégorisation d'objets, se concentrant plutôt sur la quantité globale et la diversité du contenu. On ne sait donc pas s'ils ont une formule "dragon" ou "loup-garou" pour leurs montres frénétiques Game of Thrones.
La dernière gamme de téléviseurs QLED
(Crédit image : Michael Hicks)
Les nouveaux téléviseurs Samsung 8K (et 4K) sont livrés avec la dernière banque de formules installée, puis de nouvelles données d'objet sont ajoutées via les mises à jour du micrologiciel que vous devez approuver. Samsung dit qu'il continuera à analyser de nouveaux flux visuels pour étendre sa bibliothèque d'objets, mais le fait localement sur les serveurs de Samsung. il n'analyse pas les données des téléviseurs personnels.
Combien de formules d'objets Samsung avez-vous accumulées à partir de votre analyse de flux sans fin ? Un de leurs ingénieurs a donné une quantité instantanée qui semblait incroyable, suggérant que le processeur reconnaîtrait généralement un grand nombre d'objets à l'écran. Mais un responsable des relations publiques est intervenu et nous a demandé de ne pas imprimer le numéro, disant qu'ils préféreraient que les consommateurs se concentrent sur la qualité de fonctionnement du Samsung MLSR plutôt que sur des nombres arbitraires.
IA améliorée : la nouvelle norme ?
Samsung n'est pas le seul fabricant de téléviseurs à utiliser actuellement l'intelligence artificielle et la restauration d'images pour ses téléviseurs.
La page de publicité 4K de Sony présente des détails troublants sur ses solutions de traitement d'image AI. Ses nouveaux téléviseurs 4K contiennent des processeurs avec une « double base de données » de « dizaines de milliers » de références d'images « qui améliorent dynamiquement les pixels en temps réel ».
(Crédit d'image: Sony)
Avant le CES 2019, LG a également annoncé que sa nouvelle puce de télévision a9 Gen 2 comprendrait un traitement d'image et un apprentissage automatique pour améliorer la réduction du bruit et la luminosité, notamment en analysant la source et le type de média et en adaptant votre algorithme en conséquence.
Cependant, au-delà des éléments d'intelligence artificielle, il semble que ces processeurs de télévision reposent encore un peu sur des algorithmes automatisés. Dans notre précédente interview avec Gavin McCarron, responsable du marketing technique et de la planification des produits chez Sony Europe, sur le traitement d'images par IA sur les téléviseurs Sony, il avait déclaré ce qui suit :
"Lorsque vous passez de la Full HD à la 4K, il y a beaucoup de conjectures, et ce que nous essayons de faire pour éliminer autant de conjectures que possible. (Notre processeur) ne regarde pas seulement l'isolement des pixels, il ressemble au niveau des pixels qui l'entourent et sur chaque diagonale. , et il recherche également des pixels dans plusieurs cadres, pour donner une cohérence à la qualité de l'image. "
Il est très probable que Sony, ainsi que LG et Samsung, utilisent une forme d'algorithme bilatéral ou bicubique comme système de conversion ascendante. Ils analysent ensuite le contenu proche de la 4K et déterminent quels pixels doivent être augmentés avec le traitement d'image et lesquels doivent être supprimés en tant que bruit.
À cet égard, la plupart des fabricants de téléviseurs sont relativement proches les uns des autres dans la course à l'intelligence artificielle de premier plan. L'exception est Samsung, qui utilise les mêmes techniques mais remplit quatre fois le nombre de pixels manquants pour s'adapter à un écran 8K. Il faudra attendre de voir si les efforts d'intelligence artificielle des autres constructeurs leur permettront également d'entrer sur le marché du 8K.