Recevez chaque jour toute l'actualité du numérique

x

Facebook et Matterport publient 1000 jumeaux numériques d'intérieurs pour la recherche en IA

Vidéo Facebook AI Research a fait appel à Matterport pour mettre au point un ensemble de 1000 jumeaux numériques d'espaces intérieurs dédié à l'entraînement de modèles d'intelligence artificielle. Réservé à la recherche universitaire et scientifique, ce set de données a pour objectif de permettre l'avènement d'agents "incarnés", c'est-à-dire associés à un appareil physique dédié comme un robot ou des lunettes de réalité augmentée, qui soient capables de comprendre l'environnement qui les entoure.
Twitter Facebook Linkedin Flipboard Email
×

Facebook et Matterport publient 1000 jumeaux numériques d'intérieurs pour la recherche en IA
Un exemple de capture 3D d'une maison réalisé par Matterport. © Gregory Windle - Erie Multimedia - Matterport

Facebook annonce la version 2.0 de son projet Habitat ce 30 juin à l'occasion d'une conférence en ligne baptisée AI Innovation Summit. Pour rappel, ce simulateur vise à permettre l'entraînement de modèles d'intelligence artificielle (pour la robotique ou pour le développement d'assistants virtuels ultra-personnalisés) dans des environnements virtuels réalistes.

L'idée de base est de reproduire en 3D ce que la disponibilité de larges sets de données a permis pour la reconnaissance d'image en 2D. Mais créer des environnements 3D suffisamment réalistes n'est pas chose aisée. C'est pourquoi Facebook AI Research s'est allié à Matterport, spécialiste de la capture d'environnements, pour créer une collection de 1000 environnements disponibles gratuitement pour la recherche académique.

Cet ensemble d'environnements, nommé Habitat-Matterport 3D Research Dataset (HM3D), comprend à la fois des espaces résidentiels, commerciaux et municipaux, tous générés à partir de lieux réels. Il a été assemblé à partir des cinq millions d’espaces scannés par la solution Matterport depuis sa création. HM3D est disponible dès à présent et est conçu pour fonctionner avec la nouvelle version du simulateur Habitat. A noter que toute utilisation commerciale est proscrite.
 


Faciliter l'émergence d'agents incarnés capables de reconnaître leur environnement
Facebook AI Research espère qu'il permettra de mettre au point des agents "incarnés" (embodied AI), c'est-à-dire associés à un appareil physique défini, qui seront capables de comprendre leur environnement, d'y naviguer et d'interagir avec. Ce n'est pas mince affaire, car une chambre ne ressemble pas à une salle de bain, une cuisine ou un couloir, et les espaces publics sont encore différents de ceux associés au domicile.

"Nous avons été confrontés à un manque de données spatiales pour faire avancer l’innovation dans les domaines de l’immobilier, de la construction, de la robotique, de la réalité augmentée et plus encore. Avec la base de données HM3D, nous nous réjouissons à l’idée des progrès significatifs que nous allons réaliser pour faire avancer la recherche sur la reconstruction, la génération et l’analyse de scènes intérieures à l’échelle d’une maison pour la première fois," a déclaré par voie de communiqué Yasutaka Furukawa, Associate Professor of Computing Science à la Simon Fraser University.

Habitat 2.0 se concentre sur la détection et la manipulation d'objets
La vision à moyen terme des chercheurs de FAIR est celle de robots domestiques capables de récupérer des médicaments sur une table de chevet pour les apportés à une personne à mobilité réduite dans une autre pièce, ou d'un assistant intégré à des lunettes de réalité augmentée qui sera capable d'aider son utilisateur à se rappeler où il a laissé ses clés. Cela impliquera non seulement de reconnaître la configuration des pièces, mais aussi quels objets s'y trouvent. Une tâche dantesque, irréalisable sans pouvoir entraîner les modèles à grande échelle.

La version 2.0 d'Habitat se concentre justement sur la manipulation d'objets de la part d'un robot d'aide à domicile. Elle a nécessité de créer un environnement 3D interactif, baptisé ReplicaCAD, dans lequel tiroirs, placards, réfrigérateur et autres peuvent être ouverts et contenir des objets. Parmi les exemples d'entraînements présentés : apprendre au robot à récupérer des objets éparpillés au hasard et à les réunir sur le plan de travail de la cuisine, mais aussi récupérer des objets spécifiques depuis des endroits précis pour faciliter la préparation d'un repas. Le simulateur peut répliquer plusieurs types de robots, dont celui fabriqué par l'entreprise Fetch.

Réagir

* Les commentaires postés sur L’Usine Digitale font l’objet d’une modération par l’équipe éditoriale.