AR/VR : Des chercheurs de Facebook veulent créer des "superpouvoirs" auditifs
Une équipe de Facebook Reality Labs Research travaille sur de nouvelles technologies, combinées aux connaissances médicales et cognitives actuelles, pour améliorer le rendu audio des casques de réalité virtuelle et de réalité augmentée. Leur objectif est non seulement de créer des sons si réalistes qu'ils seront indissociables du monde réel, mais aussi d'augmenter l'oreille humaine pour aider les malentendants.
Facebook y croit dur comme fer : la prochaine grande révolution technologique sera celle de la réalité virtuelle et augmentée. Et elle ne se limitera pas qu'au sens de la vue, mais touchera aussi celui de l'ouïe. L'entreprise mobilise une équipe de chercheurs au sein de Facebook Reality Labs Research (FRL Research) pour mieux comprendre comment le son se propage et est perçu par l'être humain.
Dans un billet de blog, Facebook liste les projets sur lesquels travaille cette équipe "interdisciplinaire, composée de chercheurs scientifiques, d'ingénieurs, de concepteurs…", et dirigée par Ravish Mehra. Deux axes de recherche y sont décrits : le premier est intitulé "social presence", et l’autre "perceptual superpowers". Car en effet, en plus d'améliorer la restitution audio de nos appareils électroniques, le but est aussi d'augmenter les capacités auditives humaines. Un projet qui pourrait donc avoir des applications directes pour les personnes malentendantes...
L'apport de l'AR/VR
Derrière ces deux expressions un peu floues se cache des réalités concrètes. "Social presence" est le sentiment que la source d'un son virtuel est physiquement présente dans le même espace que l'auditeur, avec une telle fidélité qu'elle ne peut être distinguée d'un son provenant du monde réel.
Pour y parvenir, Facebook planche sur des "superpouvoirs perceptifs", que l’on peut définir comme des progrès technologiques tels qu’ils permettent à une personne de n’entendre que ce qu’elle souhaite. Dans un environnement bruyant (un bar par exemple), elle pourrait isoler la voix de la personne avec laquelle elle discute en atténuant les bruits de fond indésirables. Ces recherches s'appuient sur un mélange de technologies de réduction de bruit active, beamforming et deep learning.
Le laboratoire travaille depuis deux ans sur des technologies de simulation acoustique afin de créer des environnements virtuels crédibles. A l’instar de la reconstruction graphique d'environnements qui s’appuie sur la localisation et la cartographie simultanées (SLAM) pour obtenir la géométrie et la lumière, l’équipe étudie les propriétés acoustiques d’une pièce donnée pour placer de manière transparente une source sonore virtuelle dans l'espace réel. Elle a construit pour ce faire une chambre anéchoïque de pointe.
Trier les sons réels
Parmi les expériences présentées, celle du chercheur Pablo Hoffmann qui a développé un système d'étalonnage audio qui permet d'entendre efficacement les sons en ultra-haute fidélité grâce à une paire d'écouteurs. Il utilise des algorithmes et technologies de traitement logiciel de FRL Research qui permettent de faire le tri entre les sons grâce à des capteurs directionnels. Des micros enregistrent les sons de la pièce, comme des voix et de la musique, puis les classifient. Ces sons sont ensuite diffusés par les écouteurs à un tel niveau de définition qu’ils semblent réels, spatialisés, et non pas enregistrés. Les chercheurs les nomment des "sons virtuels indiscernables de la réalité".
La technologie peut avoir une application inverse : dans le cadre d’un appel téléphonique ou vidéo, l’amélioration de la spatialisation du son permet de diffuser une voix dans une zone spécifique, comme si l’interlocuteur était présent. Pour cette équipe, tous ces progrès n'ont qu’un seul objectif : rendre la communication à distance aussi réaliste que dans la vraie vie.
Une révolution pour les personnes malentendantes...
Un pari audacieux, qui représente selon la société américaine "l'avenir de la communication", et qui pourraient par ailleurs considérablement aider les personnes malentendantes mais également protéger, explique Facebook, les capacités auditives des personnes trop fréquemment exposées à des environnements bruyants. Selon l’Université Johns Hopkins, une personne sur cinq souffre d'une perte auditive aux États-Unis. Dans un pays où la prise en charge médicale relève du système privé, les promesses de ces avancées sont immenses.
Mais l’intérêt de ces travaux est bien sûr en premier lieu d’implémenter ces avancées dans les appareils de réalité augmentée de Facebook. Ces futures lunettes AR pourraient capter les sons avec des micros en s’appuyant sur des indices contextuels qui les aideraient à comprendre quels sons sont importants, puis de filtrer les autres avec une fonctionnalité antibruit. Des images captées par des caméras orientées vers l'extérieur permettraient d’affiner encore l’analyse en prenant en compte ce que regarde l'utilisateur.
Et pour améliorer encore l'expérience, Facebook travaille sur la modélisation du profil HRTF (head-related transfer function) des utilisateurs. Chaque oreille étant différente, il est nécessaire d'en prendre la forme en compte une personnalisation optimale de l'expérience. Les chercheurs espèrent qu'il sera un jour possible de le faire à partir d'une simple photo.
... mais avec de potentielles dérives
Ces technologies doivent être conçues "de manière réfléchie et responsable", soulignent néanmoins les chercheurs. Car qui dit captures vidéo et audio dit aussi données et confidentialité. Un enjeu de taille alors que le réseau social a été accusé à de nombreuses reprises de ne pas apporter de garanties suffisantes à ce sujet, et qu’à l’heure des deepfakes, les voix et les sons peuvent être détournés.
SUR LE MÊME SUJET
AR/VR : Des chercheurs de Facebook veulent créer des "superpouvoirs" auditifs
Tous les champs sont obligatoires
0Commentaire
Réagir