Nous vivons dans un monde de plus en plus numérique.
Si vous avez été attentif, cela ne devrait pas être une grande surprise. Même avant la pandémie, des technologies comme la réalité virtuelle et la réalité augmentée suscitaient un intérêt considérable. Au milieu des fermetures et des mesures de quarantaine, cet intérêt n'a fait que croître de façon exponentielle.
À ce jour, vous avez probablement entendu tout le battage médiatique entourant le métaverse. Au mieux vaguement défini et au pire un peu plus qu'un mot à la mode marketing, il y a au moins un concept au cœur qui est très prometteur : la notion de se connecter un jour les uns aux autres par le biais de la réalité virtuelle, non seulement en tant qu'avatars personnalisables, mais en tant que vivacité numérique. représentations de notre vrai moi.
L'idée d'environnements en ligne connectés peuplés d'avatars réalistes, simulés et dynamiques de nos amis et de notre famille.
Cela peut sembler sortir tout droit des annales de la science-fiction. Mais ce n'est pas le cas. C'est plutôt quelque chose que la société de technologie chinoise OPPO vient de rendre plus réalisable que jamais avec sa technologie de reconstruction corporelle 3D guidée par l'IA.
Création de corps virtuels
En ce qui concerne la reconstruction corporelle en 3D, l'un des plus grands défis a toujours été la représentation réaliste des vêtements, en particulier ceux qui sont amples. Le wireframe lui-même n'est pas le problème - nous maîtrisons depuis un certain temps des corps virtuels aux proportions réalistes. Le problème est que les vêtements réagissent comme… eh bien, de vrais vêtements.
Sans devenir trop techniques, les méthodes traditionnelles de reconstruction d'avatar numérique ont tendance à donner des vêtements flous ou tout simplement faux. Le problème est qu'il existe un écart de complexité important entre les différentes poses corporelles. Veiller à ce que les vêtements s'adaptent de manière réaliste à ces mouvements demande des efforts démesurés.
Jusqu'à récemment, il n'y avait pas de véritable solution à ce problème autre que "d'envoyer plus d'ingénieurs là-bas". Et c'est là qu'OPPO entre en jeu. Comme démontré lors de la Conférence 2022 sur la vision par ordinateur et la reconnaissance de formes (ouvre dans un nouvel onglet), la société a enfin abordé ce qui pourrait bien être l'un des problèmes les plus anciens dans le domaine.
Comme décrit dans cet article (ouvre dans un nouvel onglet), le processus d'OPPO a commencé par la formation d'un algorithme raffiné pour comprendre comment le tissu se forme et se déforme avec le mouvement. Au départ, il s'est concentré sur l'identification et la compréhension de petits détails comme les logos, les ourlets et les textures. La clé du succès réside ici dans le traitement de ces tissus comme une couche distincte des mouvements squelettiques d'un avatar, ce que les méthodes de rendu traditionnelles ne parviennent toujours pas à réaliser.
Parallèlement à cette formation, l'algorithme exploite une série de points mobiles prédéfinis attachés au modèle corporel d'un modèle SMPL (essentiellement le modèle 3D standard du corps humain (ouvre dans un nouvel onglet)). Ces points sont ensuite combinés avec des champs de rayonnement locaux structurés, des processus qui modélisent simultanément l'apparence et la géométrie pour générer des images plus convaincantes (ouvre dans un nouvel onglet).
Sur la base de sa nouvelle méthode, OPPO peut générer un par un des modèles dynamiques tridimensionnels grâce à une simple analyse vidéo, une innovation aux applications très intéressantes.
Processus de création d'avatar virtuel OPPO : un guide étape par étape
Comme nous l'avons établi précédemment, la modélisation humaine numérique a traditionnellement été une tâche extrêmement complexe. La numérisation du modèle n'est que la première étape. Coûts mis à part, le succès nécessite généralement une série de tâches de traitement manuel et d'ingénierie intensive.
Comme on le voit dans la vidéo ci-dessus, le processus d'OPPO jette essentiellement ces difficultés par la fenêtre.
1. Tout d'abord, les données corporelles du modèle sont collectées via le Digital Avatar Lab d'OPPO.
2. Une fois que le logiciel du smartphone a collecté suffisamment de données sur le sujet, l'IA commence à générer l'avatar 3D.
3. Un danseur professionnel a agi comme modèle du corps humain et les mouvements ont été enregistrés. La première étape du processus de rendu consiste à générer un squelette avec une série de nœuds d'ancrage prédéfinis.
4. L'algorithme continue d'analyser les mouvements du squelette pour le différencier de la forme et du mouvement de tout vêtement appliqué à l'avatar.
5. Enfin, quelques heures plus tard, le rendu de la scène neuronale génère un personnage numérique entièrement habillé avec une physique et des mouvements vestimentaires réalistes.
Vous n'avez pas de rythme et vous avez honte de ne pas savoir danser ? Votre avatar n'aura pas ce problème lorsque vous vous tournerez et tournerez, vos vêtements flotteront autour de vous comme ils le feraient sur la piste de danse. Bien que l'algorithme soit encore en cours de développement dans le laboratoire, il deviendra progressivement plus efficace et efficace à mesure qu'il recevra plus de données d'entraînement, le rendant finalement applicable à des scénarios réels illimités au-delà de la danse.
Visualisez un monde numérique avec OPPO
C'est un grand pas vers la réalité virtuelle en immersion totale. Au fur et à mesure que la technologie derrière l'algorithme d'OPPO s'améliore, le numérique et le physique seront de plus en plus combinés. Sans surprise, cela a des applications très intéressantes.
Premièrement, les centres commerciaux et autres détaillants peuvent offrir des expériences en ligne plus immersives grâce à des technologies telles que les vestiaires virtuels et les aires de restauration. Cela peut être combiné avec des avatars personnalisés réalistes et réalistes qui permettent aux gens d'interagir avec le monde virtuel à un niveau qui était auparavant impossible. Ces avatars permettraient également aux amis et aux proches de voir les "vrais importants" et de se comporter comme on le souhaite, même à de grandes distances.
Il existe également de nombreuses autres applications.
Des personnages plus convaincants et dynamiques basés sur les mouvements réels des personnes dans les jeux vidéo combinés à des coûts de développement réduits. Travail à distance soutenu par des salles de réunion en réalité virtuelle en immersion totale. Entraînement personnel et cours de fitness guidés par l'IA.
De manière réaliste, le ciel est la limite ici.
Croyez-le ou non, une technologie comme celle-ci n'a rien de nouveau pour OPPO - l'entreprise est à la pointe de l'intelligence artificielle depuis plusieurs années. Il a commencé ses recherches sur le développement de l'IA en 2015, depuis lors, il a considérablement approfondi sa concentration. Aujourd'hui, il exploite l'Institut pour la perception et l'interaction intelligentes, avec des équipes de recherche et développement dédiées axées sur une gamme de technologies et d'applications d'IA différentes.
En plus de la reconstruction corporelle en 3D, la technologie d'OPPO a également été utilisée dans des produits tels que le générateur AR spatial en temps réel CybeReal (ouvre dans un nouvel onglet), OPPO Air Glass (ouvre dans un nouvel onglet) et Omoji (ouvre dans un nouvel onglet). tab), qui utilise la reconnaissance faciale pour créer des emojis 3D.
Tout cela pour dire que, aussi excitante soit-elle, cette innovation ne fait qu'effleurer la surface des recherches d'OPPO. L'entreprise conçoit chaque jour de nouvelles technologies. Et il ne fait aucun doute que l'année prochaine aura quelque chose d'encore plus excitant à partager.