X-AR système de rayons X ajouté à un casque de réalité augmentée pour localiser et identifier des objets difficile à trouver.

Le X-AR permet de localiser facilement des objets cachés avec un casque AR

Les utilisations des casques de réalité augmentée (AR) pourraient bénéficier d’un accessoire particulièrement intéressant pour localiser avec précision un objet spécifique invisible ou caché. Une arme redoutable pour la chasse aux œufs.

De nombreuses utilisations pratiques pour le X-AR

Des chercheurs du MIT ont construit un système à ajouter sur un casque de réalité augmentée pour localiser un objet ou article se situant à l’intérieur d’une boîte ou sous une pile de cartons, et ensuite guider l’utilisateur dans sa vue AR pour le récupérer.

Cette innovation pourrait donc aider pour préparer rapidement des commandes dans le fouillis d’un stock ou  identifier des pièces pour assembler un objet.

Le prototype X-AR a été développé sur un casque AR Microsoft Hololens. Je pense que ce système qui ne semble pas très onéreux, associé à un casque comme le Meta Quest Pro ou le futur Quest 3 pourrait facilement démocratiser son usage professionnel.

Mais, j’imagine aussi (je reviens à mon idée du début), que le X-AR pourrait être utilisé pour du loisir. Un système génial pour organiser une chasse au trésor avec des objets caché bien réels. Certains servant des indices pour progresser dans sa quête et le dernier serait le trésor réel à découvrir. Cela me semble aussi intéressant, pour faire les courses dans un énorme supermarché, ou pour des activités culturelles pour faire explorer un musée… 

Concept et fonctionnement du X-AR

Le système utilise des signaux de radiofréquence (RF), qui peuvent traverser des matériaux courants comme les boîtes en carton, des emballages en plastique ou les séparateurs en bois, pour trouver des articles cachés qui ont été étiquetés avec des étiquettes RFID, qui reflètent les signaux envoyés par une antenne RF.

Le casque dirige l’utilisateur dans une pièce vers l’emplacement de l’objet, qui apparaît sous la forme d’une sphère transparente dans l’interface de réalité augmentée (RA). Une fois l’objet dans la main de l’utilisateur, le casque, appelé X-AR, vérifie qu’il a bien pris le bon objet.

Lorsque les chercheurs ont testé X-AR dans un environnement de type entrepôt, le casque a pu localiser les objets cachés à 9,8 centimètres près, en moyenne. Et il a vérifié que les utilisateurs avaient ramassé le bon objet avec une précision de 96 %.

La technologie X-AR pourrait aider les employés des entrepôts de commerce électronique à trouver rapidement des articles sur des étagères encombrées ou enfouis dans des boîtes, ou à identifier l’article exact d’une commande lorsque de nombreux objets similaires se trouvent dans le même bac. Il pourrait également être utilisé dans une usine de fabrication pour aider les techniciens à localiser les bonnes pièces pour assembler un produit.

“L’objectif de ce projet était de construire un système de réalité augmentée qui vous permette de voir des choses invisibles. Des choses qui se trouvent dans des boîtes ou dans des coins, et, ce faisant, de vous guider vers elles et de vous permettre de voir le monde physique d’une manière qui n’était pas possible auparavant”, explique Fadel Adib, professeur associé au département de génie électrique et d’informatique, directeur du groupe de cinétique des signaux au Media Lab, et auteur principal d’un article sur X-AR.

Les co-auteurs d’Adib sont les assistants de recherche Tara Boroushaki, qui est l’auteur principal de l’article, Maisy Lam, Laura Dodds et l’ancienne post-doctorante Aline Eid, qui est maintenant professeur adjoint à l’université du Michigan.

Ajout de la vision à Rayon X à un casque de réalité augmentée

Pour créer un casque de réalité augmentée avec une vision à rayons X, les chercheurs ont d’abord dû équiper un casque existant d’une antenne capable de communiquer avec des articles étiquetés RFID. La plupart des systèmes de localisation RFID utilisent plusieurs antennes situées à plusieurs mètres les unes des autres, mais les chercheurs avaient besoin d’une antenne légère capable d’atteindre une largeur de bande suffisante pour communiquer avec les étiquettes.

“L’un des grands défis a été de concevoir une antenne qui tienne sur le casque sans couvrir aucune des caméras ni entraver son fonctionnement. C’est très important, car nous devons utiliser toutes les spécifications de la visière”, explique Eid.

L’équipe a pris une antenne en boucle simple et légère et a expérimenté en la rétrécissant (en modifiant progressivement sa largeur) et en ajoutant des espaces, deux techniques qui augmentent la largeur de bande. Les antennes fonctionnant généralement à l’air libre, les chercheurs les ont optimisées pour qu’elles puissent envoyer et recevoir des signaux lorsqu’elles sont fixées à la visière du casque.

Système de localisation de haute précision

Une fois que l’équipe a construit une antenne efficace, elle s’est attachée à l’utiliser pour localiser des articles étiquetés RFID.

Pour ce faire, elle a utilisé une technique appelée radar à ouverture synthétique (SAR), qui est similaire à la façon dont les avions prennent des images d’objets au sol. Le X-AR prend des mesures avec son antenne depuis différents points d’observation lorsque l’utilisateur se déplace dans la pièce, puis il combine ces mesures. De cette façon, il agit comme un réseau d’antennes où les mesures de plusieurs antennes sont combinées pour localiser un dispositif.

X-AR utilise les données visuelles de la capacité d’auto pistage du casque pour construire une carte de l’environnement et déterminer son emplacement dans cet environnement. Lorsque l’utilisateur marche, il calcule la probabilité que l’étiquette RFID se trouve à chaque endroit. La probabilité sera la plus élevée à l’emplacement exact de l’étiquette, et elle utilise donc cette information pour trouver l’objet caché.

“Bien que cela ait représenté un défi lors de la conception du système, nous avons constaté au cours de nos expériences qu’il fonctionne bien avec le mouvement humain naturel. Comme les humains se déplacent beaucoup, cela nous permet de prendre des mesures à partir de nombreux endroits différents et de localiser un objet avec précision”, explique M. Dodds.

Vérification que l’objet trouvé est le bon

Une fois que X-AR a localisé l’objet et que l’utilisateur l’a pris, le casque doit vérifier que l’utilisateur a saisi le bon objet. Mais pour l’instant, l’utilisateur est immobile et l’antenne du casque ne bouge pas, il ne peut donc pas utiliser le RSO pour localiser l’étiquette.

Cependant, lorsque l’utilisateur saisit l’objet, l’étiquette RFID se déplace avec lui. Le X-AR peut mesurer le mouvement de l’étiquette RFID et exploiter la capacité de suivi de la main du casque pour localiser l’objet dans la main de l’utilisateur. Il vérifie alors que l’étiquette envoie les bons signaux RF pour s’assurer qu’il s’agit bien du bon objet.

Affichage des informations de l’objet trouvé

Les chercheurs ont utilisé les capacités de visualisation holographique du casque pour afficher ces informations à l’utilisateur de manière simple. Une fois que l’utilisateur a mis le casque, il utilise des menus pour sélectionner un objet dans une base de données d’articles étiquetés. Une fois l’objet localisé, il est entouré d’une sphère transparente afin que l’utilisateur puisse voir où il se trouve dans la pièce. Ensuite, l’appareil projette la trajectoire de cet objet sous la forme de pas sur le sol, qui peuvent être mis à jour dynamiquement lorsque l’utilisateur marche.

“Nous avons fait abstraction de tous les aspects techniques afin de pouvoir offrir une expérience transparente et claire à l’utilisateur, ce qui serait particulièrement important si quelqu’un devait le mettre dans un entrepôt ou dans une maison intelligente”, explique M. Lam.

Test du X-AR en situation réelle

Pour tester le X-AR, les chercheurs ont créé un entrepôt simulé en remplissant les étagères de boîtes en carton et de bacs en plastique, et en y plaçant des articles étiquetés RFID.

Ils ont constaté que le X-AR pouvait guider l’utilisateur vers un article ciblé avec moins de 10 centimètres d’erreur . Ce qui signifie qu’en moyenne, l’article se trouvait à moins de 10 centimètres de l’endroit où le X-AR dirigeait l’utilisateur. Les méthodes de base testées par les chercheurs présentaient une erreur médiane de 25 à 35 centimètres.

Ils ont également constaté que le système vérifiait correctement que l’utilisateur avait pris le bon article dans 98,9 % des cas. Cela signifie que X-AR est capable de réduire les erreurs de prélèvement de 98,9 %. Il était même précis à 91,9 % lorsque l’article était encore dans une boîte.

“Le système n’a pas besoin de voir l’article pour vérifier que vous avez pris le bon article. Si vous avez 10 téléphones différents dans un emballage similaire, vous ne pourrez peut-être pas faire la différence entre eux, mais le système peut vous guider pour que vous preniez le bon”, explique M. Boroushaki.

Maintenant que les chercheurs du MIT démontré le succès de X-AR, ils prévoient d’explorer comment différentes modalités de détection, comme le WiFi, la technologie mmWave ou les ondes terahertz, pourraient être utilisées pour améliorer ses capacités de visualisation et d’interaction.

Ils pourraient également améliorer l’antenne pour que sa portée dépasse 3 mètres et étendre le système pour qu’il puisse être utilisé par plusieurs casques coordonnés.

“Comme il n’existe rien de tel aujourd’hui, nous avons dû trouver comment construire un type de système totalement nouveau du début à la fin”, explique M. Adib. “En réalité, ce à quoi nous sommes parvenus est un cadre. Il y a de nombreuses contributions techniques, mais c’est aussi un plan pour savoir comment concevoir un casque AR avec une vision à rayons X à l’avenir.”

“Cet article franchit une étape importante dans l’avenir des systèmes de réalité augmentée (AR), en les faisant fonctionner dans des scénarios sans visibilité directe”, déclare Ranveer Chandra, directeur général de la recherche industrielle chez Microsoft, qui n’a pas participé à ces travaux. “Il utilise une technique très intelligente consistant à tirer parti de la détection RF pour augmenter les capacités de vision par ordinateur des systèmes de réalité augmentée existants. Cela peut conduire les applications des systèmes de RA à des scénarios qui n’existaient pas auparavant, comme dans le commerce de détail, la fabrication ou les nouvelles applications de compétences.”

Cette recherche a été soutenue, en partie, par la National Science Foundation, la Sloan Foundation et le Media Lab du MIT. Pour plus d’information et lévolution du projet vous pouvez consulter la page dédiée au X-AR.