Bracelet neuronal TASBI suivi des mains précis avec retour haptique pour casque de réalité virtuelle Oculus ou des lunettes de réalité augmentée.

Bracelet neuronal TASBI suivi des mains précis à retour haptique VR/AR

Prototype |  Oculus Quest 2 à 349 € | Setup de mon Quest 2 | Les actualités VR | Promotions jeux VR

Les choses deviennent très intéressantes dans l’univers AR/VR. Nous avons beaucoup d’informations aujourd’hui sur les nouvelles façons dont nous pourrions interagir avec le monde virtuel.

Facebook travaille sur un bracelet neuronal TASBI pour contrôler vos lunettes AR ou votre casque de réalité virtuelle Oculus Quest. Nous avons entendu parler pour la première fois du travail de Facebook sur ce sujet lorsqu’il a présenté « Tasbi » à la conférence mondiale sur l’haptique 2019. Tasbi est l’acronyme de Tactile And Squeeze Bracelet Interface.

Le suivi des mains avec Oculus Quest reste limité

Les casques Oculus Quest de Facebook prennent déjà en charge le suivi des mains sans manette, réalisé via les caméras du casque.

Mais pour fonctionner, il faut une pièce bien éclairée. De plus, il y a un délai faible, mais perceptible de réaction (latence ou lag). Et enfin, cela ne fonctionne pas si vos mains se chevauchent ou si elles sortent du champ de vision des caméras frontales du casque.

Alors, de meilleures caméras, des capteurs de profondeur et des puces plus rapides pourraient améliorer les performances. Mais il y aura toujours des scénarios où le casque ne pourra pas voir le mouvement d’un ou de plusieurs doigts.

Nouvelle technologie : le suivi neuronal des doigts

Une autre approche du suivi des mains consiste à lire les signaux neuronaux qui passent par votre poignet. Un tel système peut détecter le mouvement des doigts avant même qu’il ne se produise.

Facebook a déposé un brevet pour cette technologie dès le début de 2019. La startup new-yorkaise CTRL-Labs avait travaillé sur la même idée que Facebook a acquis fin 2019. Ce qui est présenté maintenant en vidéo semble être une version avancée et concrète du bracelet neuronal de Facebook.

Le directeur des interfaces neuromotrices de Facebook, Thomas Reardon, a expliqué qu’une plus grande partie du cerveau est dédiée au contrôle de vos mains que toute autre partie du corps. Il affirme qu’une récente percée permet de décoder l’activité des neurones individuels pour un « contrôle presque infini des machines ». Cela signifie que les interactions entre les mains pourraient atteindre une précision au millimètre près et sans aucune latence.

Puisque l’appareil suit les signaux neuronaux, et non les doigts réels, vous pouvez aussi simplement penser à bouger vos doigts. M Reardon a montré un court clip d’une « personne née sans main » contrôlant une main virtuelle, et a décrit des cas d’utilisation exotiques tels que le contrôle d’une main virtuelle avec six doigts ou plus.

Bracelet neuronal TASBI : haptique basée sur le poignet

Lorsqu’il a évoqué les objectifs à long terme de Facebook, Sean Keller, responsable de l’interaction AR/VR et de la R et D sur les entrées, a décrit le fait de sortir « une paire de gants haptiques doux et légers ».

À plus court terme, Nicholas Colonnese, directeur scientifique de la recherche, a évoqué le potentiel du retour haptique fourni par un dispositif monté sur le poignet. Alors que l’intuition suggérerait qu’une sensation au poignet ne devrait pas convenir aux interactions virtuelles basées sur les doigts, Colonnese affirme que « le contraire » est vrai en raison d’un effet appelé substitution sensorielle. Apparemment, votre cerveau interprète les stimuli visuels et haptiques simultanés comme un seul événement.

Les utilisations d’interactions virtuelles dans la VR et l’AR avec les capacités haptiques de vibration et de pression de Tasbi sont très nombreuses. Il peut s’agir de choses simples comme des boutons à pousser, tourner et tirer, des textures à sentir et des objets virtuels à déplacer dans l’espace. Mais cela peut aussi permettre de simuler le fait de grimper à une échelle ou même d’utiliser un arc et des flèches en réalité virtuelle ou augmentée.

Les vibrations et la sensation de pression que procure le Tasbi donnent l’impression que vous interagissez naturellement avec ces objets. Étonnamment, grâce à la substitution sensorielle, où votre corps combine les diverses informations multisensorielles, la réponse peut être oui.

Nicholas Colonnese a également présenté des cas d’utilisation plus classiques de l’haptique de haute fidélité montée sur le poignet lorsqu’elle est associée à des lunettes de réalité augmentée. Ainsi le Tasbi peut vibrer pour vous indiquer la direction à prendre, en utilisant le GPS connecté à vos lunettes AR. Ou encore, fournir une vibration différente pour différents types de communications entrantes.

Une autre utilisation assez avancée consiste à pouvoir simuler la saisie sur un clavier virtuel en reconnaissant la position de vos doigts sur des touches virtuelles. Une fonctionnalité qui éviterait d’utilise un clavier Bluetooth en réalité virtuelle, comme avec le clavier Logitech K830.

Une technologie très similaire chez Apple avec l’AssistiveTouch pour WatchOS

Le bracelet neuronal TASBI n’est pas sans rappeler les nouvelles fonctionnalités d’accessibilité : AssistiveTouch sur l’Apple Watch.

AssistiveTouch permet aux utilisateurs ayant des différences de membres du haut du corps de profiter des avantages de l’Apple Watch sans jamais avoir à toucher l’écran ou les commandes.

En utilisant des capteurs de mouvement intégrés tels que le gyroscope et l’accéléromètre, ainsi que le capteur de fréquence cardiaque optique et l’apprentissage automatique sur l’appareil, l’Apple Watch peut détecter des différences subtiles dans les mouvements musculaires et l’activité des tendons.

En portant l’Apple Watch vous pouvez maintenant déclencher des actions en fermant le poing (clinch) ou en pinçant le pouce et l’indexe (pinch). Une autre fonctionnalité permet d’appeler et de contrôler un curseur à l’aide des données de l’accéléromètre en secouant votre poignet.

Données neuronales : des informations très personnelles

Cela signifie également que ces données peuvent être considérées comme profondément personnelles, ce qui soulève des problèmes de confidentialité. Les données neuronales collectées pour le suivi des mains sont vraiment très personnelles. Le problème est de savoir comment traiter des informations aussi personnelles et s’engager d’une manière qui soit prohumaine et au nom des utilisateurs.

Inscription Newsletter Stylistme.com