IAVR l’ Intelligence artificielle associée à la réalité virtuelle un couple gagnant pour une immersion plus forte et plus sociale, la création ou la productivité.
L’IA et la réalité virtuelle le duo de choc pour une expérience plus immersive
Articles sur l’IA | Réalité virtuelle et Metaverse | Objets connectés
Vous le savez je suis passionné de réalité virtuelle à titre personnel et je vous partage ici toutes mes découvertes. Mais je travaille aussi depuis 10 ans en collaboration avec la société américaine OrNsoft sur l’utilisation de l’Intelligence Artificielle dans le business.
Aujourd’hui, je vous propose de mélanger IA et VR. Un duo de technologies particulièrement intéressant au travers quelques exemples d’applications ou de projets innovants.
Sommaire
L’IA au service de la localisation de votre corps réel en réalité virtuel
Les casques de réalité virtuelle ou augmentée actuels ne suivent que la position de la tête (le casque) et des mains (les manettes ou contrôleurs). La position des coudes et du torse peuvent être estimée à l’aide d’une classe d’algorithmes appelée cinématique inverse (IK). Mais cette méthode n’est parfois précise que pour les coudes et peut difficilement être utilisée pour ajouter des jambes. Il y a tout simplement trop de combinaisons pour chaque ensemble donné de positions de la tête et des mains. Compte tenu de ces limites, les jeux et applications en VR nous représentent soit avec de simple main, soit en homme tronc.
Il existe des solutions matérielles pour ajouter des capteurs ou filmer votre corps avec un smartphone pour localiser et représenter les jambes, mais cela nécessite l’ajout de matériel. Un smartphone qui vous filme ne fonctionne correctement que lorsque vous lui faites face. Les casques PC utilisant le suivi SteamVR permettent un suivi du corps de meilleure qualité grâce à des trackers supplémentaires portés sur soi, comme le Vive Tracker de HTC ou les Mocopi de Sony. Mais l’investissement financier et les contraintes d’installation rendent cette option peut accessible au plus grand nombre.
Alors la solution est peut être du côté logiciel et de l’intelligence artificielle. Ainsi, l’année dernière, trois chercheurs de chez Meta (Facebook) ont présenté QuestSim, un modèle d’apprentissage utilisant l’IA pour estimer une pose plausible du corps entier à partir des seules données de suivi de casque Meta Quest 2 et de ses 2 contrôleurs. Aucun tracker supplémentaire ou capteur externe n’est nécessaire. Le mouvement de l’avatar qui en résulte correspond assez fidèlement au mouvement réel de l’utilisateur. Cependant, QuestSim a échoué dans un cas précis : lorsque l’utilisateur interagit avec le monde réel, par exemple lorsqu’il s’assoit sur une chaise ou un canapé.
Dans un nouvel article intitulé QuestEnvSim, les trois mêmes chercheurs et deux autres personnes présentent un ensemble de modèles mis à jour, utilisant toujours la même approche d’apprentissage par renforcement (IA), qui prend en compte les meubles et autres objets de l’environnement. Cette évolution est particulièrement prometteuse pour permettre une représentation fidèle de notre corps réel en réalité virtuelle avec un avatar complet de la tête aux pieds.
Masterpiece X un créateur d’images 3D en VR utilisant l’IA
Masterpiece X l’outil gratuit pour créer des avatars ou éléments 3D en VR pour casques Meta Quest.
Masterpiece Studio, les développeurs à l’origine de la suite créative PC VR, a publié une nouvelle version de son logiciel conçue nativement pour Quest 2, ce qui, espèrent ses créateurs, séduira les personnes à la recherche d’un moyen simple de créer des modèles, des avatars et d’autres éléments 3D.
Un outil gratuit de création 3D pour Meta Quest
Baptisé Masterpiece X, l’outil de création gratuit est désormais disponible sur la plateforme Quest. Il offre la possibilité de remixer des modèles existants et de se les approprier grâce à un “ flux de travail plus ludique et plus fluide ” : le remixage 3D, qui est le processus de création d’un nouveau contenu en modifiant un ancien contenu ”, explique le fondateur du studio, Jonathan Gagne, dans un billet de blog Meta.
Les développeurs affirment que Masterpiece X espère cibler le marché des créateurs amateurs en proposant une application facile à utiliser qui abaisse les barrières historiques à l’entrée.
- Repartir de zéro plutôt que de remixer,
- un contrôle élaboré plutôt qu’une simplicité, ou
- une version VR des outils de modélisation 3D existants.
Polina Berseneva, conceptrice du studio Masterpiece explique : ” Traditionnellement, la création 3D est un sujet extrêmement complexe et technique. C’est pourquoi tant d’outils traditionnels sont si difficiles à utiliser pour les débutants, car il y a tant à apprendre. ”
Voici comment le studio décrit Masterpiece X :
- Remixer n’importe quelle partie de votre modèle — du maillage à la texturation, au rigging et à l’animation
trouvez des modèles gratuits dans la bibliothèque de la communauté (ou importez ou générez les vôtres — bientôt !) - Exporter votre modèle vers votre jeu, votre monde virtuel ou votre projet créatif, et
le partager avec notre communauté pour inspirer et aider les autres !
Le studio précise que Masterpiece X ne s’adresse pas aux modélisateurs 3D expérimentés, aux animateurs ou aux créateurs à la recherche d’un outil pour créer des actifs à partir de zéro plutôt que de les remixer, car l’application met l’accent sur la facilité d’utilisation plutôt que sur la complexité.
Application gratuite pour Meta Quest
Masterpiece X est disponible gratuitement sur le store officiel Meta Quest.
L’avenir des technologies fusionnées de l’IA et de la réalité virtuelle
Alors que les technologies de l’IA et de la réalité virtuelle continuent de se développer et de devenir de plus en plus avancées, les possibilités de simulations d’entraînement deviennent de plus en plus illimitées. L’IA continuera d’être utilisée pour créer des agents virtuels auto-apprenants (chatbots) qui peuvent interagir avec les utilisateurs de manière plus naturelle et fournir des commentaires et des conseils au besoin. La réalité virtuelle continuera d’être utilisée pour créer des simulations immersives qui peuvent être utilisées pour représenter des scénarios du monde réel et aider les gens à pratiquer leurs compétences dans un environnement sûr.
La combinaison de l’IA et de la réalité virtuelle permettra aux simulations de devenir plus personnalisées. Ces mêmes agents virtuels qui peuvent analyser les données des utilisateurs et créer des simulations sur mesure pourront disséquer les besoins spécifiques d’un utilisateur et fournir une solution sur mesure adaptée à ses besoins. Ce type d’auto-apprentissage peut faire gagner du temps et de l’argent en automatisant de nombreux processus et en réduisant le besoin de personnel de soutien.
La combinaison de l’IA et de la technologie de réalité virtuelle a le potentiel de révolutionner la façon dont nous formons et éduquons les gens dans les compétences douces et autres domaines. Alors que les deux technologies continuent d’évoluer, nous pouvons nous attendre à voir de plus en plus de simulations qui pourront être utilisées pour former les gens dans une variété de sujets. L’IA et la réalité virtuelle ont déjà changé la façon dont nous interagissons avec la technologie et maintenant, elles changent la façon dont nous apprenons.