Suivi des jambes en VR sans tracker les solutions de chez Meta (QuestSim et AGRoL), Standable et Driver4VR.

Suivi des jambes en VR sans tracker c’est possible !

Meta Quest 2 (449 €) | Quest Pro (1 199 €) | Meta Quest 3 | Derniers jeux VR | Plus de 100 jeux Quest avec réduction de 25 %

Les systèmes de VR actuels ne suivent que la position de la tête et des mains. La position de vos coudes, de votre torse et de vos jambes peut être estimée à l’aide d’algorithmes appelée cinématique inverse (IK), mais cette méthode n’est parfois précise que pour les coudes et rarement correcte pour les jambes. Il y a tout simplement trop de solutions potentielles pour chaque ensemble donné de positions de la tête et des mains.

Compte tenu des limites de la IK, certaines applications de VR ne montrent aujourd’hui que vos mains, et beaucoup ne vous donnent que le haut du corps. Les casques PC utilisant le suivi SteamVR prennent en charge les trackers supplémentaires portés, tels que le Vive Tracker de HTC, mais l’achat d’un nombre suffisant de trackers pour le suivi du corps coûte des centaines d’euros et n’est donc pas pris en charge dans la plupart des jeux.

Lire l’article sur les autres options de suivi corps entier en réalité virtuelle.

Le suivi des jambes par estimation chez Meta avance à petits pas

En septembre 2022, les chercheurs de Meta AI ont présenté un réseau neuronal formé avec l’apprentissage par renforcement appelé QuestSim qui estime une pose plausible du corps entier avec seulement les données de suivi de Quest 2 et de ses contrôleurs. Mais la latence de QuestSim était de 160 ms, soit plus de 11 images à 72 Hz. Il ne conviendrait vraiment que pour voir les corps des avatars d’autres personnes, et non le vôtre lorsque vous regardez vers le bas.

Dans un nouvel article intitulé Avatars Grow Legs (AGRoL), d’autres chercheurs de Meta AI et le stagiaire Yuming Du ont présenté une nouvelle approche qui, selon eux, “permet d’atteindre des performances de pointe” avec des exigences de calcul inférieures à celles des approches d’IA précédentes. AGRoL est un modèle de diffusion, comme les récents systèmes de génération d’images d’IA tels que Stable Diffusion et DALL-E 2 d’OpenAI.

Contrairement à d’autres modèles de diffusion et à la plupart des documents de recherche sur l’IA, les chercheurs affirment qu’AGRoL “peut fonctionner en temps réel” sur un NVIDIA V100, à une vitesse d’environ 41 images par seconde. Bien qu’il s’agisse d’un GPU de 15 000 dollars, les algorithmes d’apprentissage automatique commencent souvent par nécessiter ce type de matériel, mais finissent par fonctionner sur des smartphones avec quelques années de progrès en matière d’optimisation. C’est le cas des modèles de reconnaissance et de synthèse vocales utilisés dans Google Assistant et Siri, par exemple.

Pourtant, rien n’indique qu’une estimation de la pose du corps de la qualité d’AGRoL arrivera bientôt dans les produits de Meta Quest.

Meta a annoncé que ses avatars auront des jambes cette année, mais cela sera probablement alimenté par un algorithme beaucoup moins avancé techniquement, et ne sera que pour les avatars d’autres personnes, pas les vôtres.

Standable le suivi des jambes en VR sans tracker c’est déjà possible

Standable est un projet réalisé par John Coumerilh, un développeur indépendant qui nous propose un émulateur virtuel de tracker pour Steam VR. Imaginez-vous dans VR chat avec un suivi corps entier sans aucun matériel autre que votre casque VR et vos manettes.

Standable FBE est une méthode d’estimation des points du corps qui ne sont pas actuellement suivis par la plupart des équipements XR, c’est-à-dire les jambes, le bassin, les coudes et les genoux.

Le suivi avec une app sur votre smartphone

Une nouvelle application utilise la caméra de votre smartphone pour suivre votre corps et peut envoyer les données à l’application autonome VRChat Quest.

Driver4VR est une solution pour le suivi des jambes en VR, sans aucun équipement à porter. Il suffit d’avoir un iPhone/iPad avec iOS 12.0 ou supérieur ou un téléphone ou une tablette Android avec Android 5.1 ou supérieur.

L’application peut utiliser la caméra frontale ou la caméra arrière. En général, la caméra avant a un champ de vision plus large, et le fait de pouvoir voir l’état du suivi permet de trouver plus facilement la bonne position pour votre téléphone. Essayez de le placer le plus loin possible de vous, face vers le bas, idéalement dans un support pour téléphone.

Vous connectez l’application à VRChat sur Quest via OSC en entrant simplement l’adresse IP de votre casque. Celle-ci se trouve dans les paramètres Wi-Fi du casque, en sélectionnant le réseau auquel il est connecté.

La qualité de suivi de Driver4VR n’est pas proche de ce que l’on peut attendre de trackers réels, et il y a une petite latence. Il ne fonctionne pas bien non plus si vous n’êtes pas face au téléphone. Mais pour de nombreux utilisateurs de VRChat cela ajoute un véritable plus à l’expérience.

L’application elle-même est gratuite sur l’App Store ou Google Play, , mais elle ne donne accès qu’au suivi des hanches. Pour obtenir également le suivi des pieds, vous devrez payer 17 $ (iOS) / 16 $ (Android) via un paiement in-app. Le développeur prévoit d’ajouter d’autres points de suivi à l’avenir.

Les prochains Vive tracker autonomes

Le coût total de trackers HTC et des stations de base nécessaires s’élève à plus de 600 euros. En plus, il faut un PC.

HTC a annoncé la sortie d’un Vive Tracker à suivi automatique dans le courant de l’année, mais le prix n’a pas encore été révélé.

J’ai dédié un article à ce projet.