[MWC 2019] Microsoft HoloLens 2 : notre prise en main détaillée sur toutes les démonstrations

Microsoft fait la démonstration au Mobile World Congress 2019 de quatre cas d'usage pour son nouveau casque de réalité augmentée, HoloLens 2. L'Usine Digitale est présente sur place et a pu faire l'expérience de chacun de ces cas.

Un set up simplifié

Chaque démonstration est précédée d'une phase de configuration assez rapide (et qu'il n'est pas nécessaire de répéter si on utilise le même appareil). On enfile le casque de façon beaucoup plus simple que le premier modèle, qui nécessitait un certain coup de main. Avec HoloLens 2, plus besoin de s'embêter : on se le met sur la tête, l'arceau au niveau du front, et on serre la molette à l'arrière. C'est l'affaire de 3 secondes.

Le premier HoloLens n'était pas inconfortable, mais cette version 2 pèse clairement moins vers l'avant, ce qui rend réaliste l'idée de pouvoir la porter pendant une heure. La possibilité de relever la visière pour regarder ses interlocuteurs dans les yeux (ou juste faire une pause) est aussi non négligeable.

Une fois le casque bien en place, il faut s'assurer qu'on voit bien les quatre coins d'un carré puis dire "next" ou appuyer sur un bouton virtuel. On passe alors à la calibration du système de suivi des yeux. Il faut garder la tête immobile et suivre des gemmes qui se déplacent. La calibration est alors terminée, et des rubans apparaissent pour former un colibri qui peut venir se poser sur la main de l'utilisateur.

Dynamics 365 Guides, une "killer app" pour l'industrie

L'une des démonstrations les plus chiadées est sans surprise celle des équipes de Microsoft qui présentent leur logiciel Dynamics 365 Guides. Cette application sur étagère permet de concevoir des guides avec instructions étape-par-étape, le tout dans un environnement 3D.

La partie création se fait à la fois sur PC dans Dynamics 365 (création des étapes, évènements, etc.) et sur HoloLens (spatialisation de l'expérience). Le scénario présenté est celui du raccordement d'un câble électrique sur un mât-réacteur d'avion. Il s'agit d'une pièce critique car elle relie le réacteur à la voilure de l'aéronef et comporte des éléments mécaniques, hydrauliques, électriques, etc.

L'utilisateur y joue le rôle d'un technicien de niveau intermédiaire qui effectue cette opération pour la première fois. En temps normal, il aurait à se référer à des plans 2D, pas toujours très intelligibles. Avec HoloLens 2, les instructions apparaissent directement sur l'équipement. Il faut commencer par scanner un QR code qui permet au logiciel de positionner l'expérience correctement autour de la pièce.

Une fenêtre apparaît avec divers manuels d'assemblage. Celle-ci "suit" l'utilisateur, comme dans la démonstration effectuée lors de la keynote. En revanche elle ne bouge pas sur le plan vertical, c'est-à-dire qu'elle ne vient pas gêner la vue du technicien lorsqu'il baisse la tête pour travailler sur la pièce. Lorsque l'utilisateur lit les instructions et qu'il arrive à la dernière ligne, la fenêtre défile automatiquement grâce au système de suivi des yeux. Pour être honnête, cela nous a semblé un peu rudimentaire dans le cadre des démonstrations, mais le potentiel est réellement intéressant.

Travailler plus vite et sans faire d'erreur

La sélection dans les menus se fait par le regard, pour rester dans un contexte ou la valeur ajoutée de la solution est de laisser ses mains libres à l'opérateur. D'étape en étape, on se saisit d'un câble électrique, on le passe dans des anses qui le maintiennent en place, on le fait traverser une cavité métallique et on le branche à l'extrémité du mât-réacteur avant de choisir une clé dans une mallette et de vérifier que le courant passe bien. Le tout en quelques minutes.

Cette vitesse d'exécution pour un assemblage sans faute serait impossible sans réalité augmentée. Dans les faits, des photos indiquent comment tenir le câble, des flèches vertes et des croix rouges signalent où l'attacher et le brancher (et surtout où ne pas le faire), et une ligne pointillée guide l'opérateur vers la zone de travail. Lors du passage dans la cavité métallique, une vue en transparence est fournie pour mieux comprendre où sont les passages et les obstacles (plutôt que de chercher à tâtons). Quant à la clé dans la mallette, elle est au milieu de 20 clés similaires.

Aller plus vite et commettre moins d'erreurs, voilà en quelques mots la proposition de valeur de Dynamics 365 Guides. Dernier avantage : l'export automatique des données vers PowerBI pour analyser le temps passé sur chaque tâche, par exemple pour détecter si certaines étapes posent problèmes.

revue de projet BTP signée Bentley Systems

Bentley Systems présente un scénario de visualisation collaborative d'un bâtiment (un dépôt pour un musée) en cours de construction par Royal BAM Group à Rotterdam. Il utilise le logiciel Synchro de Bentley. Deux utilisateurs sont équipés de casques HoloLens 2 et inspectent la maquette d'un bâtiment en construction sur une table.

Il est possible de voir le planning de construction et l'évolution du bâtiment au fil des mois à l'aide de boutons virtuels et d'une barre de défilement (également virtuelle) qu'on contrôle à la main. On peut également passer en revue différents incidents. L'expérience tire partie des nouvelles fonctionnalités de suivi des mains (hand-tracking) d'HoloLens 2. Il est aussi possible de déplacer des éléments du chantier (une citerne et une grue) et même de les donner à son comparse, de sa main à la sienne.

Maintenance industrielle boostée à l'IoT par PTC

Juste à côté, PTC montre un cas d'usage avec Howden, un fabricant d'équipements industriels. Il s'agit d'un scénario de maintenance sur une pompe connectée. PTC met en avant sa stratégie de synergie entre l'internet des objets (IoT) et la réalité augmentée. Un incident est simulé sur la pompe et l'utilisateur joue le rôle du technicien envoyé sur place.

Grâce à HoloLens 2, il est capable de trouver l'équipement rapidement et de visualiser la pièce posant problème (et le mécanisme dont elle fait partie) avant même de l'ouvrir. La détection de la pompe se fait par reconnaissance visuelle, une fonctionnalité rendue possible par le logiciel Vuforia View de PTC. Pas besoin de QR code, et si l'objet bouge, son jumeau numérique bouge aussi. L'utilisateur peut consulter divers données émanant de l'équipement (température de l'eau, de l'huile, rendement, etc.) qu'il contrôle naturellement avec ses mains (par de simples pressions de boutons virtuels.

Ces mêmes données permettent de savoir très rapidement si le problème est bien résolu une fois la réparation effectuée. Une fonctionnalité plus que pratique puisque l'équipement lui-même n'a pas d'interface physique.

Formation médicale immersive de Pearson

Pearson, grande entreprise américaine spécialisée dans l'apprentissage, fait la démonstration d'un support de formation pour le personnel soignant. L'apprenant fait face à une patiente virtuelle assise sur un lit d'hôpital. Son apparence est très réaliste car elle a été capturée par vidéo volumétrique. Le formateur est équipé d'une tablette avec laquelle il peut déclencher divers évènements, passer à l'étape suivante, etc.

L'expérience permet en théorie de faire apparaître des informations par contrôle vocal, mais cette partie nous a semblé être simulée, le formateur passant simplement à l'étape suivante. On pardonnera ce petit effet de manche. Comme pour les autres démonstrations, on peut interagir avec différents menus et fenêtres directement avec les mains, dans ce cas présent pour afficher des informations médicales qui indiquent très clairement qu'une crise cardiaque est imminente. Le principe intérêt de la réalité augmentée pour ce cas d'usage semble être de pouvoir vivre l'expérience dans une salle de soins.

Un champ de vision vraiment plus large

Quid du champ de vision de cet HoloLens 2 ? Il est en effet beaucoup plus grand que sur le premier modèle. Il est difficile d'estimer la chose avec précision, mais cela se ressent particulièrement au niveau vertical. On en voudrait évidemment toujours plus, mais l'expérience est beaucoup plus confortable en l'état. Officiellement, Microsoft annonce un champ de vision diagonal de 52° pour un format 3:2, contre 34° pour un format 16:9 sur le premier HoloLens. La qualité d'affichage est du même niveau que sur HoloLens 1, et l'image reste bien visible malgré un éclairage assez fort sur les espaces de démonstration.

Nous avons cependant noté des problèmes au niveau des couleurs dans certaines conditions. Elles peuvent parfois baver et prendre des teintes anormales. Nous n'avons pas réussi à déterminer la cause exacte de ce phénomène, mais un ingénieur de Microsoft nous a déclaré de manière informelle que ce problème n'est pas dû au système d'affichage et qu'il serait corrigé d'ici la sortie officielle du casque. Il y aura apparemment encore une version intermédiaire (interne) du produit avant la version finale dont la sortie aura vraisemblablement lieu à la fin de l'été.

Un autre problème que nous espérons voir réglé d'ici là est la présence de reflets sur les côtés de la visière, dans la partie non-augmentée. L'angle de la visière et l'absence présumée d'un revêtement donne des reflets qui peuvent être assez gênants. On notera néanmoins que ces petites critiques sont le résultat d'une analyse plus ou moins minutieuse à la recherche de défauts, et qu'elle n’entachent pas la qualité générale de l'expérience. Rien à signaler au niveau du son, qui est clair et semble être du même niveau que pour le premier HoloLens.

Un Hand-tracking solide

Le suivi des mains est solide (il ne "décroche" pas) et précis, avec une faible latence. La latence et la précision varient un peu suivant les expériences, mais c'est globalement très qualitatif étant donné que tout est effectué sur l'appareil, sans capteurs externes. On a le sentiment d'un système réellement prêt au déploiement, mais s'il sera sans doute encore optimisé d'ici le lancement. L'interface est par ailleurs d'un naturel désarmant, à tel point qu'il est concevable qu'une personne d'un certain âge n'ayant jamais utilisé d'ordinateur ou de smartphone de sa vie puisse s'en servir sans trop de problèmes. Ce n'est pas rien.

Globalement, notre impression de cet HoloLens 2 est excellente. Il comble les lacunes du premier modèle et devrait permettre les premiers déploiements à grande échelle chez les clients de Microsoft. C'est l'une des différences majeures qui le séparent de Magic Leap One, son concurrent le plus proche : HoloLens 2 a clairement été conçu pour une utilisation sur le terrain, dans des conditions réelles de production.

Sélectionné pour vous

Micro Oled : Samsung Display rachète eMagin pour 218 millions de dollars

Industrie 4.0 : PTC présente une solution de scan 3D en 60 secondes pour les interventions d'urgence

Le français Eyelights lève 20 millions d'euros pour commercialiser sa technologie d'affichage tête haute