HP présente le Reverb G2 "Omnicept Edition", qui intègre tracking des yeux, du visage et du rythme cardiaque

HP annonce ce 30 septembre une édition spéciale de son casque de réalité virtuelle Reverb G2, qui n'est pas encore sur le marché. Baptisée Reverb G2 Omnicept Edition, elle se base sur le G2 classique (même résolution, solution audio, tracking, contrôleurs) mais intègre plusieurs nouveaux capteurs : deux caméras pour suivre les mouvements des yeux, une caméra pour capturer les expressions du visage, et un capteur de mesure du rythme cardiaque (situé sur la partie supérieure de "l'interface faciale" du casque).

Elle inclut aussi un nouveau système d'ajustement de la fixation qui est désormais mécanique (roue crantée) au lieu d'utiliser des velcros. Un système plus adapté à un usage commercial auprès de nombreux utilisateurs.

Mesurer ce que ressent l'utilisateur
Ces capteurs s'accompagnent d'API développées par HP. Pour l'eye tracking, elle permettent de savoir ce que l'utilisateur regarde et de faire de l'analyse pupillométrique afin d'étudier ses réactions lors d'une expérience. Même chose pour le capteur cardiaque, l'idée est de mesurer comment l'utilisateur se sent. Quant à la caméra filmant le bas du visage, il s'agira de reproduire les expressions fidèlement et en temps réel pour augmenter le réalisme des expériences multi-utilisateur.

Rendu fovéal possible sous Unity

Qui dit suivi des yeux dit rendu fovéal, une technique qui permet de réduire la puissance requise en dégradant la qualité à l'écran hors de la zone spécifique que regarde l'utilisateur. HP a indiqué son intention de développer un plugin pour Unity en ce sens. A noter qu'Omnicept utilise des capteurs Tobii pour l'eye tracking et s'appuie sur la technologie de Nvidia. HP recommande une carte graphique RTX pour utiliser le produit. Elle a aussi laissé entendre qu'une collaboration étendue avec Nvidia, notamment concernant Omniverse, pourrait être annoncée l'année prochaine.

Toutes ces API seront réunies dans un kit de développement logiciel (SDK) destiné aussi bien aux fournisseurs de solutions (ISV) qu'aux grandes entreprises ou au monde de la recherche. HP travaille par ailleurs sur des moteurs d'inférence dont l'objectif sera de fusionner les données de tous ces capteurs pour tirer des leçons lors d'une session en réalité virtuelle.

Le premier d'entre eux concernera la "charge mentale", et a été pensé pour la formation. Il permettra en théorie au formateur d'adapter un cours en fonction des capacités de chaque élève. Est-ce qu'il a un niveau d'attention optimal ? Est-ce qu'il est fatigué et l'apprend plus ou dépassé car ça va trop vite ? Est-ce qu'il est désengagé car c'est trop lent ? HP promet même qu'il sera possible d'évaluer le niveau de compréhension de l'apprenant. L'idée est de maximiser le niveau d'apprentissage sans épuiser l'élève pour autant.

Un exemple donné lors d'une présentation à la presse était celui de l'entraînement des pilotes de chasse avec le témoignage de Paul Heitmeyer, ancien pilote et formateur. La réalité virtuelle rend l'apprentissage plus flexible selon lui, et ces données supplémentaires sont particulièrement précieuses car impossible à récolter autrement. Elles permettent de mieux enseigner et d'anticiper d'éventuelles lacunes avant qu'elles ne se manifestent sur le terrain.

HP identifie trois autres cas d'usage clés pour Omnicept en plus de la formation : la collaboration à distance, la conception 3D, et le bien-être. L'entreprise anticipe une utilisation entre autres par les équipes RH ou les bureaux d'ingénierie.

Compatible RGPD
La collecte de données utilisateur, en particulier concernant la physiologie, est un sujet sensible dans le monde de la réalité virtuelle et augmentée. Si les inquiétudes sont souvent tournées vers Facebook – bien que l'entreprise n'ait encore implémentée aucune de ces technologies dans ses produits – HP tient à rassurer sur ses intentions.

Il indique que le SDK a été conçu pour être conforme au RGPD et que les données mesurées par les capteurs sont sécurisées par le firmware du casque puis transmises immédiatement vers un serveur (soit on-premise, soit celui d'un partenaire), sans être stockées sur l'appareil. Les données sont ensuite "anonymisées, agrégées et sécurisées".

14 développeurs déjà partenaires
Les développeurs auront donc directement accès aux données, et n'auront à verser que 2% de revenus à HP si l'édition Omnicept fait partie d'une offre commerciale. Il n'y aura pas d'abonnement récurrent. Pour une utilisation interne en entreprise, le constructeur propose des licences perpétuelles et une tarification adaptée en fonction du nombre de déploiements.

Evidemment, HP sait qu'un équipement sans solution logicielle compatible n'a pas d'intérêt, et 14 développeurs indépendants travaillent donc déjà sur Omnicept, dont Theia interactive, PixoVR, Devika, Mimbus et Ovation. Par ailleurs il est en discussion avec 13 autres développeurs.

Le prix de l'édition Omnicept n'a pas été communiqué, mais pour rappel la version standard du Reverb G2 est vendue 749,95 euros. Cette dernière arrivera chez les revendeurs au mois d'octobre et chez les détaillants mi-novembre. L'édition Omnicept de son côté est prévue pour le printemps 2021, soit pas avant fin mars.