L’IA Llama pourrait être intégrée directement dans la puce Qualcomm du Meta Quest 3 et offrir d’incroyables possibilités à la VR.

Qualcomm collabore avec Meta pour des applications d’IA dans le Quest 3

Articles sur l’IA | Réalité virtuelle et Metaverse | Objets connectés

Actuellement la plupart des solutions d’intelligence artificielle sont disponibles en ligne. Qualcomm a annoncé qu’il prévoyait de rendre disponible l’IA basée sur Llama 2 avec une solution matérielle pour les smartphones et ordinateurs à partir de 2024. Cela permettra aux développeurs d’introduire de nouvelles et passionnantes applications utilisant l’intelligence artificielle à un coût nettement inférieur par rapport à une implémentation d’IA basée uniquement sur le cloud.

Llama 2 est la dernière version du modèle de langage étendu open source (LLM) de Meta (Facebook). Le modèle peut être utilisé pour générer du texte, du code et des images. Les performances devraient être similaires à celles de la version GPT-3.5 de ChatGPT.   À noter que Meta s’est aussi associé avec Microsoft pour proposer Llama 2 sur Azure Data Catalog. Et les développeurs peuvent même installer localement cette intelligence artificielle sur Windows.

Les développeurs peuvent dès aujourd’hui commencer à optimiser leurs applications pour l’IA embarquée en utilisant le Qualcomm AI Stack, un ensemble d’outils dédiés qui permettent de traiter l’IA de manière plus efficace sur Snapdragon, rendant ainsi l’IA embarqué possible même sur de petits appareils fins et légers.

Source : Qualcomm

Collaboration de Meta avec Qualcomm pour intégrer l’IA Llama 2 dans les casques de réalité virtuelle

Meta et Qualcomm Technologies ont une longue histoire de collaboration pour favoriser l’innovation technologique. Aujourd’hui, les deux géants américains travaillent sur la génération d’expériences haut de gamme. La collaboration actuelle des sociétés pour soutenir l’écosystème Llama s’étend à la recherche et aux efforts d’ingénierie de produits.

Le leadership de Qualcomm Technologies en matière d’IA embarquée le positionne de manière unique pour soutenir l’écosystème Llama. L’entreprise a une empreinte inégalée en périphérie, avec des milliards de smartphones, de véhicules, de casques et de lunettes XR, d’ordinateurs, d’appareils IoT, et plus encore, alimentés par ses solutions matérielles et logicielles d’IA de pointe, offrant ainsi la possibilité de mettre à l’échelle l’IA générative.

Les possibilités de l’IA dans le Meta Quest 3

La programmation poussée des casques VR utilise déjà l’IA pour le suivi des mains par capteurs infrarouge sur le Meta Quest 2. Aux États-Unis, les utilisateurs de Quest peuvent exploiter la reconnaissance vocale intégrée au casque qui est alimentée par l’IA. Elle permet de parler pour écrire et d’utiliser des commandes vocales pour prendre des captures d’écran, passer en mode chambre à échelle ou vérifier votre niveau de batterie. En complément, vous pouvez consulter mon article sur les apports de l’IA pour les casques de réalité virtuelle.

Le casque VR Meta Quest 3 annoncé pour l’automne, sera doté de la nouvelle puce Qualcomm Snapdragon XR2 Gen 2. Il s’agit du processeur le plus puissant embarqué dans un casque de réalité virtuelle grand public. Ainsi, la vitesse de traitement du GPU est doublée par rapport au Quest 2.

Source : Meta

Comme Meta et Qualcomm travaillent ensemble sur l’IA générative Llama 2, il est fort probable qu’elle puisse être utilisée dès 2024 dans le Quest 3. L’IA Llama 2 dans le Quest 3 permettrait de nouvelles fonctionnalités :

• Assistants virtuels intelligents avec commandes vocales grâce au micro
• Développement d’applications de productivité,
• Outils de création de contenu s’appuyant sur l’IA générative
• Créer des environnements du Home à la demande selon vos instructions
• Création de jeu avec un scénario aléatoire qui évolue en fonction de vos actions et décisions
• Création de PNJ uniques (personnages non-joueurs, les rencontres que vous faites dans une partie) générés par l’IA. lÀa fois sur leurs caractéristiques physiques, mais aussi leurs comportements.
• Et aussi pour offrir un contenu émotionnel réservé aux adultes, secteur qui a toujours su profiter dès leurs arrivées des nouvelles technologies.

En réalité les possibilités offertes par l’IA sont infinies que ce soit pour créer, travailler, s’amuser ou communiquer. En plus, ces nouvelles expériences d’IA embarquées, alimentées par Snapdragon, peuvent fonctionner dans des zones sans connectivité ou même en mode avion.

Il est trop tôt pour savoir quand et surtout si Meta ajoutera sa nouvelle IA à la plateforme Quest, mais l’annonce de Qualcomm suggère que cela sera possible grâce à cette collaboration. Si Meta intègre Llama 2 dans son logiciel Quest 3 V100, cela pourrait avoir un impact considérable sur le contenu proposé en réalité virtuelle ou réalité augmentée.

Testez Llama de Meta en version cloud

Meta a lancé la première version de Llama en février 2023 uniquement pour les chercheurs. Mais après qu’elle ait fuité en ligne, ils l’ont rendue accessible à tous. Vous pouvez d’ailleurs télécharger Llama 2 gratuitement pour une utilisation dans des projets de recherche et commerciaux.

Après le lancement de Llama 2 par Meta, Perplexity AI a lancé une interface de chat, et accessible depuis un navigateur, qui vous permet de tester l’IA. Pour accéder à cette intelligence artificielle, il vous suffit de vous rendre sur le site dédié PERPLEXITY LABS. Ultra simple, car il n’y a pas besoin de se connecter avec un compte. Le site fonctionne comme ChatGP, il vous suffit d’indiquer votre demande (prompt) pour découvrir la réponse de l’IA. Attention, si vous pouvez poser votre question en français, la réponse elle sera en anglais.

Test Llama l’IA de Meta

Par exemple, je lui ai demandé de corriger la grammaire et la ponctuation de ce paragraphe, voici sa réponse quasi instantanée :

“Here’s the corrected text with improved grammar and punctuation: Meta launched the first version of Llama in February 2023 exclusively for researchers. However, after it leaked online, they made it available to all users. You can download Llama 2 free of charge for use in research and commercial projects. Following Meta’s launch of Llama 2, Perplexity AI introduced an web-based chat interface that allows you to interact with their AI technology. To access this artificial intelligence, simply visit the dedicated website PERPLEXITY LABS. The site operates like ChatGPT, where you can enter your request (prompt) to discover the AI’s response.“