Butterscotch Varifocal et Flamera deux incroyables nouveaux prototypes de casques de réalité virtuelle chez Meta.

Meta dévoile deux nouveaux prototypes de casques VR : Butterscotch Varifocal et Flamera

Le SIGGRAPH est une conférence annuelle où les chercheurs présentent des percées dans le matériel et les logiciels graphiques pour ordinateurs. L’année dernière, Meta a dévoilé Starburst, un prototype de recherche d’affichage HDR avec une luminosité de 20 000 nits, la plus élevée de tous les casques connus.

Lors du Siggraph, un salon où les chercheurs présentent des percées dans le matériel et les logiciels graphiques pour ordinateurs, Meta présente deux prototypes de casques : Butterscotch Varifocal, qui mettra en valeur une résolution quasi rétinienne et des optiques varifocales, tandis que Flamera présentera une approche novatrice de la restitution du monde réel sans reprojection.

Butterscotch Varifocal : le casque pour voir comme avec nos yeux en VR

Butterscotch Varifocal est la prochaine évolution de Butterscotch, qui avait été présenté l’année dernière avec une résolution angulaire de 55 PPD. Son objectif déclaré était de démontrer et d’étudier la sensation de résolution rétinienne, avec un champ de vision seulement d’environ la moitié de celui du Quest 2.

Butterscotch Varifocal combine la résolution angulaire rétinienne avec les optiques varifocales du prototype Half-Dome, présenté pour la première fois en 2018. Half-Dome utilisait le suivi oculaire pour déplacer rapidement mécaniquement les écrans vers l’avant et vers l’arrière afin d’ajuster dynamiquement la mise au point.

Le terme “ Varifocal ” est une contraction de “ variable focal length ” en anglais, ce qui signifie en français “ longueur focale variable ”. Pour les casques de réalité virtuelle (VR) ou de la réalité augmentée (AR), le varifocal se réfère à une technologie d’affichage qui ajuste dynamiquement la distance de focalisation pour simuler le fonctionnement naturel de l’œil humain.

Dans un casque de VR ou d’AR traditionnel, la distance de focalisation est fixe, c’est-à-dire que l’écran affiche une image nette à une distance spécifique. Lorsque vous regardez un objet virtuel de près, vous pouvez ressentir un flou ou une gêne, car l’écran ne s’ajuste pas pour correspondre à la mise au point naturelle de vos yeux.

Le varifocal vise à résoudre ce problème en ajustant dynamiquement la distance de focalisation en fonction de l’endroit où vous regardez dans l’environnement virtuel. Cela permet d’obtenir une mise au point réaliste sur les objets proches et lointains, simulant ainsi le fonctionnement de l’œil humain.

Par exemple, lorsque vous regardez un objet virtuel de près, le varifocal déplace l’image plus près de vos yeux pour assurer une netteté appropriée, et lorsque vous regardez un objet lointain, il ajuste la distance de focalisation en conséquence.

Le varifocal peut améliorer considérablement l’expérience de réalité virtuelle en rendant les images plus réalistes et en réduisant la fatigue oculaire. Cela permet également aux utilisateurs de se sentir plus immergés dans l’environnement virtuel, car la mise au point change naturellement en fonction de leur regard.

Contrairement aux casques actuels du marché, qui ont des lentilles à mise au point fixe, Butterscotch Varifocal est capable de prendre en charge la mise au point de 25 cm à l’infini, permettant de se concentrer sur des objets proches ou lointains.

Meta affirme que la combinaison de la résolution rétinienne et des optiques varifocales offre des visuels nets et clairs qui rivalisent avec ce que l’on peut voir à l’œil nu. Le casque vise à résoudre le conflit de convergence-accommodation, qui provoque une fatigue oculaire et rend les objets virtuels flous de près. En résolvant ce problème, Meta espère rendre la VR plus réaliste et plus confortable pour une utilisation prolongée.

Flamera : le casque AR pour une traversante parfaite

Flamera est un prototype de Passthrought sans reprojection. Meta le décrit comme un « appareil photo computationnel utilisant la technologie Lightfield ”. On dirait une phrase de chez Apple avec son “ ordinateur spatial ”. Les gars, vous ne pouviez pas juste dire “ on a fait un casque qui te fait ressembler à une grosse mouche, quand tu regardes dedans tu vois le monde autour de toi comme si tu ne portais pas de casque ! ”.

Des casques tels que le Quest Pro, l’Apple Vision Pro et le prochain Quest 3 utilisent des caméras à l’avant pour vous montrer le monde réel. Mais comme ces caméras sont positionnées à des endroits différents de vos yeux réels (actuellement plus bas), ils doivent utiliser des algorithmes de traitement d’image pour replacer la vue au bon endroit.

C’est évidemment un processus imparfait qui ajoute de la latence (un temps de traitement) et entraîne des artefacts ou des glitchs de traitement d’image, même si cela s’améliore avec du matériel plus récent. Flamera vise à contourner complètement l’approche de reprojection avec une conception matérielle conçue spécialement pour la vue de votre environnement réel.

Contrairement à un appareil photo Lightfield traditionnel comportant un réseau de lentilles, Flamera place une ouverture derrière chaque lentille. Ces ouvertures bloquent physiquement les rayons lumineux indésirables, laissant passer uniquement les rayons souhaités jusqu’aux yeux (alors qu’un appareil photo Lightfield traditionnel capturerait plus que ces rayons lumineux, entraînant une résolution d’image inacceptablement faible). L’architecture utilisée concentre également les pixels du capteur fini sur les parties pertinentes du champ lumineux, ce qui donne des images de bien meilleure résolution.

Les données brutes du capteur ressemblent à de petits cercles de lumière, chacun contenant seulement une partie de la vue souhaitée du monde physique à l’extérieur du casque. Flamera réarrange les pixels, estimant une carte de profondeur grossière pour permettre une reconstruction dépendante de la profondeur.

Selon Meta, cela permet d’avoir un Passthrought avec une latence beaucoup plus faible, une meilleure qualité de la vue de votre environnement réel et beaucoup moins d’artefacts.

Un prochain casque VR Meta Quest Elite ?

Dans un précédent article, j’évoquais la possibilité de l’arrivée d’un nouveau casque VR haut de gamme chez Meta pour venir remplacer et supplanter le Meta Quest Pro.

Selon Meta, les nouveaux prototypes Butterscotch Varifocal et Flamera, sont destinés à la recherche et à l’exploration des technologies futures des casques VR. Plus intéressant, Meta avertit spécifiquement que l’approche de chaque prototype “ ne sera peut-être jamais intégrée dans un produit destiné aux consommateurs ”.

C’est bien connu, Meta fait des recherches pour ne pas en tirer un retour sur investissement. En fait, ce genre de phrase à tendance à me confirmer que la réelle stratégie de Meta est exactement l’inverse.

Avec l’arrivée d’Apple Vision Pro début 2024, Mark Zuckerberg veut clairement montrer son avance et son expertise dans le secteur de la réalité virtuelle. Quoi de mieux que de faire un casque XR avec une vue quasi naturelle pour les applications de réalité augmentée et une image de bien meilleure qualité pour les jeux en réalité virtuelle.

Finalement, tout ce qu’attend le consommateur c’est d’avoir un casque qui pourra recevoir des jeux AAA à foison et des applications pouvant concurrencer ce qui se fait sur PC ou Mac.

Le processus pour arriver aux casques XR avec des lentilles pancake a été le même. D’abord en prototype, puis étrangement, intégrées dans les casques VR haut de gamme grand public. J’ai vraiment l’impression de retrouver les mêmes niveaux de progression qu’au lancement des micro-ordinateurs. Clairement, la réalité virtuelle et augmentée a un énorme potentiel pour travailler, apprendre ou s’amuser, globalement nos trois activités principales dans la vie.

Alors Meta au travail et sort nous un Meta casque XR (abordable) pour en faire un ordinateur hyper spatial.