Recevez chaque jour toute l'actualité du numérique

x

Meta revient sur ses efforts pour créer un gant haptique et ressentir des objets en réalité virtuelle

Vidéo La réalité virtuelle, dans sa vision la plus onirique, évoque non seulement la possibilité de plonger dans un monde virtuel qui mobilise la vue et l'ouïe, mais aussi le toucher. Or ce domaine, celui de l'haptique, reste très difficile à mettre en œuvre aujourd'hui. Dans un long article, Meta revient sur les travaux en la matière de l'une de ses équipes de chercheurs au cours des sept dernières années. Elle y vante leurs progrès, mais s'attarde aussi sur les difficultés qu'il leur reste encore à surmonter.
Twitter Facebook Linkedin Flipboard Email
×

Meta revient sur ses efforts pour créer un gant haptique et ressentir des objets en réalité virtuelle
Meta revient sur ses efforts pour créer un gant haptique et ressentir des objets en réalité virtuelle © Meta Reality Labs

Il existe plusieurs visions de l'interface idéale pour interagir en réalité virtuelle ou augmentée. Les contrôleurs pour des applications exigeantes comme les jeux, le suivi des mains pour la simplicité d'usage et la portabilité, et les gants pour combiner les gestes naturels avec un sens encore peu exploité : le toucher.

Stimuler ce sens passe principalement aujourd'hui par de simples vibrations. Une innovation du temps du "Rumble Pak" de la Nintendo 64 désormais devenue banale dans le divertissement vidéoludique. Même si la technologie progresse (par exemple avec les nouvelles manettes de la PlayStation 5), elle ne permet pas aujourd'hui de ressentir la forme ou la texture d'un objet.

Les équipes de recherche de Meta publient ce 16 novembre au soir un article détaillant leurs travaux sur la création de gants haptiques capables de fournir des sensations suffisamment bonnes pour tromper le cerveau tout en étant légers et confortables. Une tâche herculéenne, mais qui leur semble atteignable aujourd'hui, après sept années de recherche sur le sujet.
 


Le casse-tête haptique
Pourquoi herculéenne ? Parce qu'elle nécessite des innovations dans le domaine des textiles intelligents, de la robotique molle, de la microfluidique et de la fabrication industrielle hautement personnalisée. Sans parler évidemment des problématiques de tracking et de rendu des sensations.

L'objectif est de pouvoir ressentir les arêtes et les coins d'un cube par exemple, mais aussi savoir s'il est fait d'un matériau rugueux ou lisse. Cette même technologie permettrait de ressentir le fait d'appuyer sur un bouton virtuel ou de taper sur un clavier numérique, voire d'échanger une "poignée de main virtuelle", parmi bien d'autres possibilités.

"Nous créons pratiquement tout de zéro dans cette discipline," déclare dans le billet Sean Keller, qui dirige ces recherches et supervise plusieurs centaines de scientifiques au sein de la division Reality Labs de Meta. Le premier élément bloquant qu'a rencontré son équipe a été la taille des actuateurs existants en 2014.
 


Des actuateurs pneumatiques miniaturisés


Miniaturiser les actuateurs
En effet, ces derniers (de petits moteurs qui contrôlent une valve) sont la clé du ressenti haptique : en s'activant suivant la bonne séquence, ils appuient sur la peau, voire opposent une résistance aux doigts, ce qui donne l'illusion à l'utilisateur de toucher une forme ou une texture spécifique. Pour offrir une expérience haptique de qualité, il faut pouvoir condenser des dizaines, voire des centaines de ces petits moteurs dans un gant.

HaptX, l'une des start-up les plus en vue du secteur, utilise 130 actuateurs pneumatiques dans son gant, qui est connecté à un gros boîtier d'où l'air est envoyé. Les chercheurs de Reality Labs sont aussi parvenus à faire d'important progrès dans le domaine des actuateurs pneumatiques, ainsi que dans les actuateurs électroactifs, dont la taille et la forme sont modifiées par un courant électrique. Ils ne révèlent cependant pas combien d'actuateurs ils sont parvenus à faire rentrer dans un gant.

Pour contrôler ces actuateurs, ils ont aussi développé une puce microfluidique "haute vitesse", située dans le gant, qui gère le flux d'air. Les chercheurs mettent en avant la vitesse, légéreté et portabilité du système, dont le temps de réponse se mesure en millisecondes.
 


Élément important : tout l'équipement auquel le gant est raccordé et qui reste essentiel à son fonctionnement
 

Tromper le cerveau avec des sensations partielles
En parallèle, sur le plan logiciel, ils ont développé un moteur de rendu haptique afin de fournir les bonnes instructions au gant pour que les stimuli envoyés à l'utilisateur correspondent le plus possible à la scène virtuelle, et spécifiquement à la texture, au poids et à la rigidité des objets virtuels. La chose est particulièrement complexe car les actuateurs ne permettent pas de reproduire parfaitement des sensations réelles. Les gants n'opposent qu'une résistance limitée mais ne peuvent pas empêcher un utilisateur de serrer son poing ou lui permettre de s'appuyer sur une surface virtuelle.

Ils se sont donc intéressés aux sciences cognitives et notamment à la perception multisensorielle, c'est-à-dire à la façon dont le cerveau fusionne différents sens pour former sa perception du monde qui l'entoure. Ce domaine consiste essentiellement à tromper le cerveau du mieux possible. Par exemple, lorsqu'on voit un cube virtuel fait d'un matériau ressemblant à du bois, on a déjà certaines estimations basées sur nos expériences passées de la texture, la forme et le poids qu'il va avoir.

En saisissant l'objet et le manipulant, ces données visuelles sont combinées à celles de nos muscles et de la proprioception (la capacité du corps à ressentir la position et les mouvements de ses membres) pour affiner la perception visuelle. On renforce donc l'impression de réalisme en "confirmant" le visuel, même si la perception haptique n'est pas parfaite. Il est par exemple possible, si le timing est parfait, de simuler le poids en tirant légèrement sur les doigts lorsque l'utilisateur soulève un objet, pour imiter l'effet de la gravité.
 


La fabrication à l'échelle industrielle, l'ultime défi
Pour faire rentrer toutes ces technologies dans un gant fin et léger, Meta s'est aussi lancé dans le développement de textiles intelligents capables de combiner plusieurs fonctions (conduction d'électricité, déplacement capacitif, mesure) dans un même tissu. Reste le problème de la personnalisation, chaque main étant différente. A l'heure actuelle les prototypes qu'ils utilisent sont fabriqués à la main par des ingénieurs spécialisés, mais ne peuvent pas être produits à une plus grande échelle.

Les chercheurs étudient donc de nouvelles méthodes de fabrication, car l'efficacité des gants repose en grande partie sur le fait qu'ils aillent parfaitement à leur utilisateur. Cela implique de pouvoir insérer les actuateurs précisément là où ils doivent l'être, peu importe la taille ou la forme de la main.

Pour être clair, ces recherches restent aujourd'hui très en amont d'un hypothétique produit commercial (qui ne verra pas le jour avant 10 à 15 ans, d'après Meta), mais il est intéressant de voir les progrès de l'entreprise en la matière étant donné son budget plus ou moins illimité. Les chercheurs sont par ailleurs enthousiastes sur d'éventuels débouchés dans d'autres secteurs, par exemple l'analyse médicale, la biochimie microfluidique, ou les dispositifs d'assistance aux personnes souffrant d'un handicap.

Réagir

* Les commentaires postés sur L’Usine Digitale font l’objet d’une modération par l’équipe éditoriale.