Comment allons-nous utiliser les lunettes AR d'Apple et avec quelle interface utilisateur ?

Comment allons-nous utiliser les lunettes AR d'Apple et avec quelle interface utilisateur ?

Lorsqu'elles apparaîtront, Apple voudra s'assurer que l'expérience de porter des lunettes Apple est aussi naturelle et incontournable que celle de porter n'importe quel autre produit Apple. Et nous commençons à arriver à un point où nous pouvons comprendre comment ces choses vont fonctionner.

Ce qu'ils ne sont pas

Mettons d'abord quelque chose de côté. Les lunettes Apple AR n'allaient jamais être des appareils que vous contrôliez avec une télécommande complexe, pas même un iPhone.

Apple voudra que l'expérience utilisateur soit aussi transparente que possible et réitérera et améliorera également cette expérience au fil du temps. Tout dans l'histoire d'Apple nous dit que vous voulez créer une interface qui offre une sensation naturelle de connexion.

Vous voudrez créer un langage de conception d'interface humaine absolument nouveau. Le plan d'Apple Glass est peut-être de créer l'interface la plus humaine de chacun, avec vous au centre du système.

Comment Apple pense

Pour cet examen, je suis guidé par la réflexion d'Apple et un certain nombre de potins récents. Pour donner un exemple, il a été récemment affirmé que ces lunettes abriteraient plusieurs caméras et seraient contrôlées en partie par des gestes et des mouvements.

Comment cela pourrait-il fonctionner ?

Pour avoir une idée de ce qu'Apple pense de la conception de l'interface utilisateur, considérez 3 choses :

Considérez également le vaste catalogue de conceptions d'accessibilité d'Apple et son travail tout aussi étendu avec Siri, qui offrent tous deux des améliorations de grande envergure pour de nombreux utilisateurs.

Faire un avenir humain

En substance, chacune de ces interfaces utilisateur reflète la détermination d'Apple à créer des façons de travailler avec la technologie qui semblent absolument naturelles. L'ancien designer Jony Ive a souvent parlé de la poursuite d'une telle catastrophe par son entreprise.

Même lorsque l'entreprise ne réussit pas (Touch Bar, par exemple), elle itérera et améliorera ses systèmes jusqu'à ce qu'elle crée une interface si simple que les utilisateurs s'y tiennent.

Cette recherche signifie qu'Apple essaiera d'y parvenir avec les lunettes. Vous ne voulez pas créer un produit pour lequel vous avez besoin d'un diplôme d'ingénieur ; vous ne voulez pas non plus créer un gadget.

Vous souhaitez que l'expérience utilisateur soit fluide, transparente, comme si les choses avaient toujours été ainsi et en toutes circonstances.

Alors qu'est-ce qu'il y a d'incontournable dans les verres ?

Je pense que ce genre de sens profond d'un objectif implacable signifie que vous commencez par l'évidence et que vous construisez sur cette expérience de base. Alors, quand vous portez des lunettes normales, que faites-vous ?

Je pense que la plupart d'entre nous regardent.

On utilise nos yeux, on les bouge, on cligne des yeux, on regarde et on se concentre sur différentes choses. Nous regardons de près et regardons à part. Lire. Se regarde. On fait attention. Parfois, nous aimons encore regarder l'espace avec indolence et percevoir une autre date limite à passer.

Ce sont les choses que nous faisons. Nous utilisons également des lunettes pour améliorer notre vision, ce qui semble également possible dans ces créations.

Alors, comment ces actions familières se traduisent-elles en une interface utilisateur pour les lunettes ?

Voici quelques hypothèses de base :

Que pouvaient-ils faire ?

Imaginez que vous êtes en vacances dans un pays avec une langue différente. Vous regardez un panneau au loin.

Les capteurs de vos pince-nets identifieront la direction et la focalisation de votre regard, tandis que les capteurs orientés vers l'extérieur exploreront cet objet et chercheront à améliorer votre expérience visuelle. Dans le cas de ce signe, les lunettes peuvent zoomer pour clarifier le signe et probablement traduire automatiquement les mots qui s'y trouvent. Cette traduction peut être fournie sous forme de superposition sur les lentilles, que vous ne pouvez voir que.

Déballez ce qui s'est passé tout au long de ce travail et vous verrez qu'il se compose de plusieurs processus :

Toutes ces opérations sont prises en charge par une multitude d'apprentissage automatique et d'intelligence visuelle sur l'appareil, ce qui signifie que des processeurs intégrés sont susceptibles d'être installés dans ces appareils.

Ce n'est qu'un cas parmi d'autres de ce qui peut arriver.

Comment ces tâches seraient-elles exécutées? Automatiquement ou par commande ?

Comment demander des lunettes ?

En fait, nous ne demandons pas les verres. La plupart du temps, nous enfilons simplement nos lunettes de protection et nous les enlevons.

Où sont les interfaces de contrôle sur le central existant ?

S'il semble inévitable que certaines commandes soient exécutées à l'aide des descendants des lunettes (comme les descendants des AirPods), combien de commandes pouvez-vous lancer de cette façon ? Pas grand chose je pense, ce qui suggère certaines actions de mod.

La nécessité de modifier les actions suggère des interfaces de contrôle auxiliaires qui incluent la direction des yeux, le clignement, les gestes, la voix et le toucher. Comme chacune de ces interactions peut ajouter de la difficulté à ce qui se passe, les utilisateurs auront besoin d'un moyen de suivre les commandes qu'ils passent. Il pourrait passer par une interface de contrôle prudente, telle qu'une molette cliquable virtuelle, intégrée dans son objectif.

En cours d'utilisation, vous pouvez toucher plusieurs fois le descendant de vos pince-nets pour entrer en mode contrôle, viser ou regarder un objet à focaliser, puis parcourir les commandes libres à l'aide de la molette cliquable sur l'objectif avec le toucher, le geste ou bon mouvement des yeux.

Ce type de système accepterait des commandes complexes.

Une autre approche pourrait être d'utiliser le geste. Poing fermé, visée, main ouverte, déplacement de la main vers la gauche, déplacement de la main vers la droite, le tout en infime minorité, et conforme au travail existant d'Apple et au cadre Apple Vision.

Toutes ces approches (seules ou combinées) fourniraient le type d'interface utilisateur complexe dont les développeurs ont besoin pour créer des applications complexes pour ces appareils.

Apple, bien sûr, voudra que ses lunettes soient compatibles avec les applications tierces.

Ce besoin signifie que vous devez vous efforcer de fournir une interface utilisateur qui fonctionne aussi bien avec une souris et un clavier que le multi-touch. Je pense qu'Apple veut créer une occasion de plate-forme avec ces choses (récemment, il a été affirmé qu'il s'agirait d'appareils autonomes qui ne nécessitent pas d'iPhone), ce qui signifie qu'ils devraient héberger leur ensemble de commandes avancées.

Intrinsèquement, l'interface utilisateur doit être si incontournable qu'au moment où vous commencez à les utiliser, vous oubliez rapidement comment vous avez vécu sans eux.

Il sera intéressant de voir comment les propres concepteurs d'interface utilisateur d'Apple ont relevé ces défis lorsque ces nouvelles solutions devraient être lancées en XNUMX.

Suivez-moi sur Twitter ou rejoignez-moi au AppleHolic Bar & Grill et aux jeux de discussion Apple sur MeWe.

Copyright © deux mille vingt et un IDG Communications, Inc.