Focus sur Oculus Insight, la technologie au cœur des nouveaux casques VR de Facebook
Facebook semble avoir trouvé la recette du succès en matière de casques de réalité virtuelle avec l'Oculus Quest : un appareil sans fil, simple d'utilisation et proposant des contenus de qualité à un prix abordable. Mais derrière cette percée sur le marché se trouve aussi un grand succès technologique. Il s'agit de son système de suivi du positionnement dans l'espace, baptisé Oculus Insight. Découvrez ses rouages, ses limites et ses futures évolutions au travers de notre entretien avec Anna Kozminski, Software Program Manager pour ce projet chez Facebook.
Julien Bergounhoux
Facebook a fait un grand pas en avant avec la sortie de ses deux derniers casques de réalité virtuelle, l'Oculus Quest et l'Oculus Rift S. L'un de leurs aspects techniques les plus impressionnant est leur système de positionnement et suivi de mouvements, qui a été baptisé Oculus Insight (voir encadré).
Mais le pari n'était pas gagné d'avance. "La technologie n'était pas nouvelle, mais pouvoir obtenir un tracking d'aussi bonne qualité sur un appareil mobile est très difficile. C'était un sacré défi", commente Anna Kozminski, Software Program Manager AR/VR chez Facebook Zurich, lors d'un entretien accordé à L'Usine Digitale. Cette technologie est essentielle à un produit comme Oculus Quest, qui fonctionne sans fil et dans presque n'importe quel environnement. Plongée dans sa genèse et ses évolutions futures.
L'Usine Digitale - Quel a été votre parcours avant de rejoindre Facebook ?
Anna Kozminski - J'ai une formation universitaire en informatique. Avant de rejoindre Facebook, j'ai été chef de produit senior chez National Instruments à Austin (Texas), où je travaillais sur des logiciels embarqués. J'ai déménagé en Suisse l'année dernière pour des raisons personnelles et j'ai rejoint l'équipe de Facebook Zurich à ce moment là. Je cherchais quelque chose dans le secteur des wearables,car je voulais travailler sur des produits qui pourraient être utilisés par le grand public.
Pouvez-vous nous présenter l'équipe responsable du développement d'Oculus Insight ?
Cette équipe a été créée autour d'un groupe d'ingénieurs très particulier, issu de Zurich Eye, une start-up rachetée par Facebook en 2016. Ils venaient tous de l'Université de Zurich et de l'École polytechnique fédérale de Zurich et travaillaient à l'origine sur des systèmes de navigation autonome.
L'Oculus Quest et l'Oculus Rift S utilisent tous les deux Oculus Insight, mais avec des configurations de caméras différentes. Quelles différences cela engendre-t-il, et y a-t-il des optimisations distinctes pour ces deux produits ?
En matière de tracking, la différence entre eux réside dans le nombre et l'emplacement des caméras. L'Oculus Rift S bénéfice d'un plus grand volume de tracking qui nous permet de suivre plus de mouvements des contrôleurs. Cela permet aux développeurs de faire plus de choses. Evidemment, on ne veut pas limiter ce qu'il est possible de faire sur Quest, donc nous essayons d'implémenter des techniques pour prévoir correctement la position des contrôleurs même lorsqu'on ne les voit pas.
Au-delà de ça, les deux casques utilisent exactement la même technologie et le même code, et notre objectif est d'avoir les mêmes fonctionnalités avec le même niveau de qualité. Aucun n'est prioritaire par rapport à l'autre et la roadmap est commune. Je ne vous cache pas que ça n'est pas sans poser certains problèmes sachant qu'ils tournent sur du matériel et des systèmes d'exploitation très différents !
Quelle est votre feuille de route pour l'évolution d'Insight ?
Nous nous concentrons sur des optimisations pour rendre le système à la fois plus précis, moins gourmand en ressources, et capable de gérer plus de cas d'usage. Sur l'Oculus Quest, tous les cœurs CPU du System-on-Chip [ndlr: un Qualcomm Snapdragon 835] sont dédiés au contenu, nous utilisons le DSP [ndlr: processeur dédié au traitement des signaux numériques] à la place. Nous essayons de laisser un maximum de ressources aux applications et aux jeux.
Du côté du tracking, l'un des points sur lesquels nous nous focalisons est l'amélioration du suivi des contrôleurs. Nous avions plutôt mis la priorité sur celui du casque à la base. C'est un problème complexe car il faut aussi ajuster en fonction des déplacements de la tête, puisque les capteurs s'y trouvent. Il faut aussi faire avec certains cas spécifiques comme les rotations des mains ou l'occultation partielle des LEDs des contrôleurs. Nous avons beaucoup progressé sur l'approximation du positionnement basé sur les mouvements précédents et les informations des centrales à inertie, ainsi que sur la rapidité avec laquelle nous le rectifions dès que nous les voyons à nouveau.
Enfin, pour les nouveaux cas d'usage, nous développons la capacité d'incorporer plus d'informations sur l'environnement qui entoure l'utilisateur afin de maximiser sa sécurité. Nous ferons un certain nombre d'annonces lors de la conférence Oculus Connect 6, qui se déroulera fin septembre.
Cette technologie sera aussi essentielle aux lunettes de réalité augmentée...
Oui, ces appareils sont importants. Pour vraiment atteindre une masse critique d'utilisateurs il nous faudra à terme pouvoir proposer un appareil presque aussi léger que des lunettes de vue. Nous étudions donc la meilleure façon d'adapter la technologie Oculus Insight à ce type de produits.
Facebook recommande de n'utiliser le Quest qu'en intérieur et avec "assez de lumière pour pouvoir lire un livre". Concrètement, quelles sont les limites actuelles du système en matière de luminosité maximale ou minimale ? Est-ce amené à évoluer ?
Je ne peux pas vous donner de chiffres exacts, mais en effet si l'environnement est très lumineux ou très sombre, ou qu'il n'y a aucune texture, cela rend les choses plus difficiles pour nos algorithmes de vision par ordinateur. Nous effectuons des tests dans une très grande variété d'environnements différents pour essayer d'obtenir les meilleures performances possibles, même dans les cas marginaux. Les guirlandes de Noël peuvent poser problème par exemple car elles ressemblent aux LEDs utilisées pour le suivi des contrôleurs.
Le prototype Dead and Buried Arena qui a été présenté l'année dernière à Oculus Connect 5 était très impressionnant. Où en est le développement sur ce genre d'expériences ? Quand arriveront-elles sur le marché ?
Il y a deux aspects à cette question : le tracking dans de grands espaces et le jeu multijoueur dans un même espace. Ce sont deux problèmes différents. Ils sont tous les deux sur notre feuille de route, mais je n'ai pas d'information supplémentaire à vous communiquer aujourd'hui quant à leur future disponibilité.
Avez-vous envisagé un tracking hybride, combinant capteurs intégrés et capteurs externes, pour certains cas d'usage spécifiques comme le divertissement hors du domicile ?
L'Oculus Rift a débuté avec un système de tracking "outside in", utilisant des capteurs externes. Cependant comme je le disais, nous nous concentrons vraiment sur le fait d'éliminer autant de friction à l'utilisation que possible, et en particulier la présence de capteurs externes. Cela étant dit, nous avons vraiment une énorme division R&D, ce qui fait que chaque idée à laquelle vous pouvez penser est probablement explorée par un de nos ingénieurs autour du monde.
Outre le suivi du casque et des contrôleurs, travaillez-vous aussi à la détection des mouvements des mains et des doigts ?
Oui, c'est un domaine que nous explorons. L'équipe en charge d'Insight fait partie du groupe de recherche Cortex au sein de Facebook, donc nous sommes impliqués avec une autre équipe qui se charge d'explorer ces technologies.
Oculus Insight, c'est quoi ?
C'est un système de tracking dit "inside out", ce par quoi on entend le fait que les capteurs sont intégrés au casque et voient l'environnement qui l'entoure. Le principe derrière Oculus Insight est une technique de vision par ordinateur appelée "SLAM", et qui signifie en français "localisation et cartographie simultanée". En gros, le système crée une carte 3D de l'environnement qui l'entoure en temps réel et se sert de repères dans cet environnement (coins de meubles, fenêtres, décorations sur les murs ou au sol...) pour calculer avec une précision de l'ordre du millimètre sa position dans l'espace. Le rafraîchissement de ladite position a lieu toutes les millisecondes.
Il s'oppose aux systèmes "outside in", à base de capteurs placés dans l'environnement et qui observent le casque et les contrôleurs. Ces systèmes offrent d'excellentes performances mais sont encombrants et plus compliqués à installer. Oculus a affiché son intention de s'orienter vers ce type de tracking dès 2015, avec des prototypes présentés en 2017 et 2018. C'est grâce à ce système que l'Oculus Quest a pu voir le jour.
SUR LE MÊME SUJET
Focus sur Oculus Insight, la technologie au cœur des nouveaux casques VR de Facebook
Tous les champs sont obligatoires
0Commentaire
Réagir
