ByteDance accélère dans la robotique domestique avec son modèle GR-3

Après s'être intéressé à la fabrication de puces d'intelligence artificielle et de lunettes connectées, le chinois ByteDance entend se démarquer dans un tout autre domaine : la robotique pour la maison. Son équipe de recherche Seed a présenté le 22 juillet GR-3, un modèle vision-langage-action (VLA) conçu pour permettre aux robots d'effectuer des tâches ménagères “à long terme et avec une grande dextérité”.

Réalisation de tâches sur des objets inconnus auparavant

Le modèle permet aux robots de suivre des instructions en langage naturel et, en étant entraîné sur un ensemble de données visuelles, d'effectuer des tâches sur des objets inconnus auparavant ainsi qu'avec des “environnements et instructions impliquant des concepts abstraits”, explique ByteDance. Le fine-tuning est effectué à l'aide de données de trajectoire humaine collectées via des appareils de réalité virtuelle. GR-3 est enfin entraîné avec des techniques d'apprentissage par imitation à partir des données de trajectoire.

En parallèle, la maison mère de TikTok a dévoilé ByteMini, un robot mobile à deux mains conçu pour reposer sur GR-3. L'équipe a évalué les performances du modèle sur trois types de tâches : la prise et le positionnement d'objets (“pick and place”), la manipulation à long terme, c’est-à-dire en réalisant plusieurs actions d'au moins 30 secondes, et la manipulation d'objets non rigides.

Nettoyer une table, suspendre un cintre…

Pour la manipulation à long terme, les chercheurs explique avoir donné au modèle une instruction générale : “Nettoyer la table à manger”. Le robot a accompli la tâche d'un seul trait : on le voit vider des objets qui s'apparentent à des restes de nourriture dans une boîte ouverte, la fermer et la placer dans un bac au même titre que la vaisselle, avant de transporter le bac hors de la table. En ce qui concerne la manipulation d'objets “déformables”, ByteMini peut insérer un cintre dans une chemise et le déplacer pour le suspendre sur un étendoir.

ByteDance multiplie ses efforts dans la robotique. Au début du mois, le South China Morning Post révélait que la société avait intensifié le recrutement de responsables en robotique et sur les modèles d'IA intégrés, au sein de l'équipe Seed. Cette dernière avait été créée en 2023, quelques mois après le lancement de ChatGPT par OpenAI. ByteDance aurait produit au total plus de 1000 robots, en grande majorité des robots mobiles autonomes (AMR) utilisés dans le déplacement de colis et composants. Les engins roulants sont utilisés en interne dans les entrepôts de Douyin – la version chinoise de TikTok, mais également proposés à d'autres acteurs comme BYD Electronics.

Figure AI et Neura Robotics dans les starting-blocks

La firme pékinoise n'est pas la seule à scruter de près les opportunités qu'offre la robotique pour la maison. L'américain Figure AI a présenté en février Helix, un modèle VLA permettant aux robots humanoïdes de réaliser des manipulations à long terme et habiles sans entraînement préalable. Sur le Vieux Continent, la start-up allemande Neura Robotics va de l'avant : son humanoïde 4NE1 peut manipuler du verre, sortir des vêtements d'une machine à laver et les repasser.

Sélectionné pour vous

Gobano lève 3 millions d'euros pour ses modèles robotiques dans l'industrie

Soutenu par Alibaba, le chinois X Square Robot lève 119 millions d'euros

Unitree Robotics prépare son introduction en Bourse