Bracelet neuronal TASBI suivi des mains précis à retour haptique VR/AR

par | 1 Juin 2021 | Actualités, AR VR PC, Casques, PC et accessoires

Bracelet neuronal TASBI suivi des mains précis avec retour haptique pour casque de réalité virtuelle Oculus ou des lunettes de réalité augmentée.

 

Bracelet neuronal TASBI suivi des mains précis à retour haptique VR/AR

Prototype |  Oculus Quest 2 à 349 € | Setup de mon Quest 2 | Les actualités VR | Promotions jeux VR

Les choses deviennent très intéressantes dans l’univers AR/VR. Nous avons beaucoup d’informations aujourd’hui sur les nouvelles façons dont nous pourrions interagir avec le monde virtuel.

Facebook travaille sur un bracelet neuronal TASBI pour contrôler vos lunettes AR ou votre casque de réalité virtuelle Oculus Quest. Nous avons entendu parler pour la première fois du travail de Facebook sur ce sujet lorsqu’il a présenté « Tasbi » à la conférence mondiale sur l’haptique 2019. Tasbi est l’acronyme de Tactile And Squeeze Bracelet Interface.

 

 

Le suivi des mains avec Oculus Quest reste limité

Les casques Oculus Quest de Facebook prennent déjà en charge le suivi des mains sans manette, réalisé via les caméras du casque.

Mais pour fonctionner, il faut une pièce bien éclairée. De plus, il y a un délai faible, mais perceptible de réaction (latence ou lag). Et enfin, cela ne fonctionne pas si vos mains se chevauchent ou si elles sortent du champ de vision des caméras frontales du casque.

Alors, de meilleures caméras, des capteurs de profondeur et des puces plus rapides pourraient améliorer les performances. Mais il y aura toujours des scénarios où le casque ne pourra pas voir le mouvement d’un ou de plusieurs doigts.

 

Nouvelle technologie : le suivi neuronal des doigts

Une autre approche du suivi des mains consiste à lire les signaux neuronaux qui passent par votre poignet. Un tel système peut détecter le mouvement des doigts avant même qu’il ne se produise.

Facebook a déposé un brevet pour cette technologie dès le début de 2019. La startup new-yorkaise CTRL-Labs avait travaillé sur la même idée que Facebook a acquis fin 2019. Ce qui est présenté maintenant en vidéo semble être une version avancée et concrète du bracelet neuronal de Facebook.

Le directeur des interfaces neuromotrices de Facebook, Thomas Reardon, a expliqué qu’une plus grande partie du cerveau est dédiée au contrôle de vos mains que toute autre partie du corps. Il affirme qu’une récente percée permet de décoder l’activité des neurones individuels pour un « contrôle presque infini des machines ». Cela signifie que les interactions entre les mains pourraient atteindre une précision au millimètre près et sans aucune latence.

Puisque l’appareil suit les signaux neuronaux, et non les doigts réels, vous pouvez aussi simplement penser à bouger vos doigts. M Reardon a montré un court clip d’une « personne née sans main » contrôlant une main virtuelle, et a décrit des cas d’utilisation exotiques tels que le contrôle d’une main virtuelle avec six doigts ou plus.

Bracelet neuronal TASBI : haptique basée sur le poignet

Lorsqu’il a évoqué les objectifs à long terme de Facebook, Sean Keller, responsable de l’interaction AR/VR et de la R et D sur les entrées, a décrit le fait de sortir « une paire de gants haptiques doux et légers ».

À plus court terme, Nicholas Colonnese, directeur scientifique de la recherche, a évoqué le potentiel du retour haptique fourni par un dispositif monté sur le poignet. Alors que l’intuition suggérerait qu’une sensation au poignet ne devrait pas convenir aux interactions virtuelles basées sur les doigts, Colonnese affirme que « le contraire » est vrai en raison d’un effet appelé substitution sensorielle. Apparemment, votre cerveau interprète les stimuli visuels et haptiques simultanés comme un seul événement.

Les utilisations d’interactions virtuelles dans la VR et l’AR avec les capacités haptiques de vibration et de pression de Tasbi sont très nombreuses. Il peut s’agir de choses simples comme des boutons à pousser, tourner et tirer, des textures à sentir et des objets virtuels à déplacer dans l’espace. Mais cela peut aussi permettre de simuler le fait de grimper à une échelle ou même d’utiliser un arc et des flèches en réalité virtuelle ou augmentée.

Tasbi Facebook bracelet neuronal oculus suivi des mains

Les vibrations et la sensation de pression que procure le Tasbi donnent l’impression que vous interagissez naturellement avec ces objets. Étonnamment, grâce à la substitution sensorielle, où votre corps combine les diverses informations multisensorielles, la réponse peut être oui.

Nicholas Colonnese a également présenté des cas d’utilisation plus classiques de l’haptique de haute fidélité montée sur le poignet lorsqu’elle est associée à des lunettes de réalité augmentée. Ainsi le Tasbi peut vibrer pour vous indiquer la direction à prendre, en utilisant le GPS connecté à vos lunettes AR. Ou encore, fournir une vibration différente pour différents types de communications entrantes.

Une autre utilisation assez avancée consiste à pouvoir simuler la saisie sur un clavier virtuel en reconnaissant la position de vos doigts sur des touches virtuelles. Une fonctionnalité qui éviterait d’utilise un clavier Bluetooth en réalité virtuelle, comme avec le clavier Logitech K830.

Tasbi Armbands Oculus clavier virtuel suivi des mains

Une technologie très similaire chez Apple avec l’AssistiveTouch pour WatchOS

Le bracelet neuronal TASBI n’est pas sans rappeler les nouvelles fonctionnalités d’accessibilité : AssistiveTouch sur l’Apple Watch.

AssistiveTouch permet aux utilisateurs ayant des différences de membres du haut du corps de profiter des avantages de l’Apple Watch sans jamais avoir à toucher l’écran ou les commandes.

En utilisant des capteurs de mouvement intégrés tels que le gyroscope et l’accéléromètre, ainsi que le capteur de fréquence cardiaque optique et l’apprentissage automatique sur l’appareil, l’Apple Watch peut détecter des différences subtiles dans les mouvements musculaires et l’activité des tendons.

En portant l’Apple Watch vous pouvez maintenant déclencher des actions en fermant le poing (clinch) ou en pinçant le pouce et l’indexe (pinch). Une autre fonctionnalité permet d’appeler et de contrôler un curseur à l’aide des données de l’accéléromètre en secouant votre poignet.

 

Données neuronales : des informations très personnelles

Cela signifie également que ces données peuvent être considérées comme profondément personnelles, ce qui soulève des problèmes de confidentialité. Les données neuronales collectées pour le suivi des mains sont vraiment très personnelles. Le problème est de savoir comment traiter des informations aussi personnelles et s’engager d’une manière qui soit prohumaine et au nom des utilisateurs.

 

 

Inscription Newsletter Stylistme.com

Indiquez nous votre e-mail pour ne plus rater les nouveaux articles.
Votre e-mail n’est communiqué à personne d’autre !

 

 

 Suivez les news VR sur votre réseau préféré

 

TOP Accessoires Quest 3 2024

  1. Sangle Kiwi design avec batterie intégrée, chez Kiwi Design à 53,95 €, 6400 mAh, mousse arrière, mousse dessus-de-tête, molette de réglage.
  2. Sangle élite Meta Quest 3 à 69,99 € avec batterie rechargeable amovible.
  3. Grips AMVR à 34 $ en direct noir pour utiliser vos contrôleurs Touch Plus sans risque et de manière plus confortable.
  4. Extensions manettes 25 € pour une immersion totale (Beat Saber, Gorilla Tag,FitXR, Synth Riders, Ragnarock, Blade and Sorcery…).
  5. Interface faciale AMVR à 35 $ avec deux mousses amovibles (cuir PU et soie de coton), ventilation intégrée et réglable en profondeur sur 3 positions.
  6. Batterie 10 000 mAh tour de cou Zyber 67,95 € (utilisable avec tous les casques VR autonomes, smartphones tablettes), très agréable à porter, un must. Ou Batterie externe Charmast
  7. Chargeur et piles pour les contrôleurs Panasonic Eneloop à 59 € (chargeur et 4 piles AA), parfait pour charger des piles AA et AAA.
  8. Câble Link Zyber de 5 mètres à 15,95 € pour transformer votre Quest 3 en casque PCVR

Top accessoires Quest 2 2024

Voici ma sélection des meilleurs accessoires pour améliorer et entretenir votre casque de réalité virtuelle en 2023. Les liens affiliés ci-dessous vous permettent d’obtenir des réductions sur les principales boutiques d’accessoires pour Meta Quest 2. Les produits que je vous indique sont ceux que j’ai personnellement testés et utilisés avec mon Meta Quest 2.

  1. Meilleur rapport qualité/prix sangle Elite Zyber confort avec batterie rechargeable pour Quest 2 à moins de 40 € avec le code promo 10 % “STYLISTME”.
  2. Ma sangle préférée haut de gamme BOBOVR : sangle confort avec batterie rechargeable amovible (69 €) associée à son interface faciale avec ventilateur à 50 €.
  3. Grips confort avec batterie rechargeable modèle Knight de chez Zyber (autour de 30 € avec le code promo 20 % “STYLISTME”).
  4. Meilleur rapport qualité/prix câble Zyber Link de 5 mètres en USB 3 (bleu à l’intérieur) à moins de 20 € avec le code promo 20 % “STYLISTME”.
  5. Utiliser votre Quest 2 dans le noir avec la mini lampe infrarouge KKCOBVR i2 à 37,55 € sur Amazon.
  6. Finies les lunettes avec les lentilles correctrices de chez Zyber (filtre lumière bleue) pour Quest 2 à moins de 50 € avec le code promo 20 % “STYLISTME
  7. La gamme d’accessoires Quest 2 de chez Kiwi Design (sangles, grip, interface, socle). Code de réduction de 5 % avec le code “STYLISTME”.
  8. Nettoyant des contacts pour dégripper les contrôleurs du Quest 2 chez WD 40 Specialist contact (moins de 10  €)
  9. Pâte de polissage PolyWatch pour supprimer les petites rayures présentes sur les lentilles du Quest, on trouve le tube à moins de 6 € sur Amazon.
  10. Un tapis rond épais en 80 cm de diamètre, pour avoir un repaire tactile réel sous vos pieds et éviter de tout casser à la maison.

Tuto Quest

Meilleur casque VR 2024

  • Dès février 2024, la sortie sur le marché américain de l’Apple Vision Pro.
  • Casque open source Somnium VR1 qui vient d’être présenté à plusieurs influenceurs.
  • Meta Quest 3 lite, un casque VR premier prix.
  • De son côté Pico devrait proposer un Pico 4 Plus pour offrir une alternative au Meta Quest 3.
  • Le retour espéré de Valve et des nouvelles de son casque Deckard,
  • Pour mi 2024, le casque MR de Samsung.

Abonnez-vous (gratuit & sans pub)

Indiquez simplement votre e-mail pour recevoir les nouveaux articles dès leur publication

Suivez-moi sur votre réseau préféré

0 commentaires

Soumettre un commentaire

Votre adresse e-mail ne sera pas publiée. Les champs obligatoires sont indiqués avec *