Facebook et Oculus détaillent leurs avancées en matière d'avatars et de virtualisation de l'environnement
Facebook et sa filiale Oculus ont exposé leurs avancées en matière d'avatars et de capture d'environnements (intérieur et extérieur) lors de la conférence F8 2018. Des efforts dont l'objectif à terme est de permettre aux gens de voyager sans se déplacer.
Julien Bergounhoux
La réalité virtuelle était présente en force à la conférence F8 2018 de Facebook. En plus du lancement de l'Oculus Go et de la démonstration du prototype Half-Dome, Oculus et Facebook y ont présenté leurs travaux respectifs en matière de représentation humaine virtuelle (à l'aide d'avatars) et de virtualisation de l'environnement.
Des avatars de plus en plus peaufinés
Les équipes de Facebook continuent d'améliorer le pendant VR du réseau social : Facebook Spaces. Les avatars y ont notamment beaucoup évolué depuis son lancement l'année dernière et représentent plus fidèlement la grande diversité physionomique de ses utilisateurs. Mieux, ils peuvent être générés automatiquement à partir d'une seule photo. Oculus de son côté voit plus loin et s'intéresse à la reproduction d'avatars photoréalistes (voir l'illustration d'en-tête de cet article), même si ce niveau de détail ne sera pas réalisable de sitôt.
Une modélisation plus fidèle des mouvements des mains grâce au deep learning
Oculus travaille par ailleurs sur l'interaction naturelle de l'utilisateur avec le monde virtuel en utilisant directement ses mains. Mais pour garantir une expérience de qualité il faut pouvoir percevoir les mouvements avec une grande finesse et les modéliser à la perfection. Pour y parvenir, Oculus entraîne désormais ses algorithmes de détection de mains à l'aide de techniques d'intelligence artificielle (en se basant sur des données obtenues par motion capture). La démonstration faite sur scène montrait une scène particulièrement réaliste dans laquelle un utilisateur ouvre une boîte à musique.
Capturer une scène en 3D juste avec son smartphone
L'autre champ de recherche mis en avant concernait la virtualisation de l'environnement sous diverses formes. Lors de sa keynote du 1er mai, Mark Zuckerberg a fait la démonstration d'une reconstitution d'une maison dans un style proche du pointillisme à partir de simples photos ou vidéos. Le 2 mai, une responsable d'Oculus en charge de la division "Core Tech", Maria Fernandez Guajardo, a fait la démonstration de deux autres systèmes.
Le premier permet de capturer des images en 3D à partir d'un smartphone, pour peu qu'il dispose de deux caméras. C'est la mode actuelle pour les smartphones haut de gamme : avoir un grand angle et un téléobjectif. Oculus se sert de séries de ces images jumelles, prises à raison d'une par seconde, pour évaluer la profondeur d'une scène et créer un panorama en relief.
Créer un double virtuel parfait d'un environnement
Le second système est beaucoup plus gourmand en ressources mais permet de reconstituer une pièce quasiment à la perfection. Lors d'une démonstration de deux vidéos côte à côte, il était difficile de distinguer le réel du virtuel. L'une des prouesses du système est notamment de pouvoir reproduire correctement des miroirs et ce qu'ils reflètent. Sa mise à disposition hors du laboratoire n'est a priori pas pour tout de suite, mais couplé aux avatars photoréalistes il illustre bien l'ambition de Facebook et Oculus de "défier la distance" pour permettre aux gens d'être ensemble même lorsqu'ils sont loin.
SUR LE MÊME SUJET
Facebook et Oculus détaillent leurs avancées en matière d'avatars et de virtualisation de l'environnement
Tous les champs sont obligatoires
0Commentaire
Réagir
