OpenAI lance un outil pour créer des modèles 3D à partir d'une simple demande textuelle
OpenAI dévoile un nouvel outil reposant sur des technologies d'intelligences artificielles génératives. Baptisé Point-E, le système vise à créer un objet 3D à partir d'indications textuelles.
Après la génération d'image ou de vidéo, OpenAI dévoile un générateur de modèles 3D. Point-E, présenté dans un papier publier le 16 décembre 2022, créé un objet 3D à partir d'indications textuelles. Une autre avancée autour des systèmes d'intelligences artificielles génératifs qui sont régulièrement mis sur le devant de la scène ces derniers mois.
Des modèles d'IA pas tout à fait au point
Point-E génère des nuages de points ou des ensembles discrets de points de données dans l'espace qui représentent une forme 3D. Les nuages de points sont faciles à synthétiser d'un point de vue informatique, mais ils ne capturent pas la forme ou la texture à grain d'un objet, détaille TechCrunch qui souligne ici une des limites du système.
Afin de contourner cette limite, un système d'intelligence artificielle est entraîné à convertir les nuages de points en maillage – ce qui correspond aux sommets, arêtes et faces qui définissent un objet – qui est couramment utilisé dans la modélisation et la conception 3D. Mais le modèle d'IA n'est pas encore tout à fait point et peut manquer certaines parties de l'objet.
Au-delà, Point-E est composé de deux autres modèles d'IA : l'un pour traduire le texte en image et l'autre pour traduire une image en modèle 3D. Le premier est similaire aux systèmes génératifs comme Dall-E et Stable Diffusion. Il a été entraîné sur des images labélisées afin d'associer des mots à des concepts visuels. Par contre, le modèle pour traduire une image en objet 3D a été entraîné avec un ensemble d'images associées à des objets 3D pour qu'ils puissent apprendre à traduire les données.
Des usages variés
Pour l'instant, lorsqu'une description textuelle est donnée, le premier modèle d'IA texte-image génère un objet synthétique qui est ensuite transformé en nuage de points grâce à l'autre modèle d'IA. Point-E n'est pas encore tout à fait au point. OpenAI pense que le système pourrait produire des nuages de points colorés correspondant fréquemment au texte descriptif lorsque les modèles auront été entraînés sur un ensemble de données de "plusieurs millions" d'objets 3D et de métadonnées associées. Pour l'instant, le modèle d'IA devant transformer l'image en objet 3D ne parvient parfois pas à comprendre l'image ce qui entraîne une forme différente de ce qui a été demandé.
Toutefois, un des atouts de Point-E est sa rapidité puisque le système peut produire des modèles 3D en une à deux minutes sur un seul GPU Nvidia V100, ajoute TechCrunch. Ces nuages de points générés par Point-E pourraient être utilisés pour fabriquer des objets du monde réel grâce à l'impression 3D, selon OpenAI. Et lorsque le modèle d'IA permettant de transformer les nuages de points en maillage sera au point, l'outil pourra servir dans le cadre de jeux et d'animations 3D.
OpenAI n'est pas le seul à plancher sur une telle solution. Google a dévoilé plus tôt dans l'année DreamFusion. Dans un autre style, Epic Games a conçu une application permettant de générer un objet 3D à l'aide de photos prise avec un smartphone. Les modèles 3D sont largement utilisés dans le cinéma, la télévision, la décoration d'intérieur, l'architecture et les industriels pour la création de nouveaux véhicules, appareils ou structures en tout genre.
SUR LE MÊME SUJET
OpenAI lance un outil pour créer des modèles 3D à partir d'une simple demande textuelle
Tous les champs sont obligatoires
0Commentaire
Réagir
