Recevez chaque jour toute l'actualité du numérique

x

Cinq ans après son lancement, Facebook fait le bilan de son laboratoire d'intelligence artificielle à Paris

Entretien Le 2 juin 2015, Facebook annonçait l’ouverture d’un laboratoire d’intelligence artificielle à Paris. Une première pour la France à l’époque, motivée par la conviction du Chief AI Scientist de l’entreprise, Yann LeCun, que s’y trouvait un vivier de talents non exploités. Cinq ans plus tard, Antoine Bordes, Co-managing Director de Facebook AI Research (FAIR), fait le bilan pour nous de cette aventure. Il revient sur les projets marquants du laboratoire, le développement d’un écosystème parisien de l’IA, mais aussi le fonctionnement de FAIR au niveau global, ses rapports avec les autres divisions de Facebook, et les prochaines avancées de la recherche en IA.
Twitter Facebook Linkedin Flipboard Email
×

Cinq ans après son lancement, Facebook fait le bilan de son laboratoire d'intelligence artificielle à Paris
Antoine Bordes (gauche) et Mark Zuckerberg (droite) lors d'une visite de ce dernier au laboratoire FAIR de Paris en 2018 pour commémorer ses trois ans. © Elodie Gregoire

L'Usine Digitale : Cinq ans après son lancement, quel bilan faites-vous du laboratoire de Facebook AI Research à Paris ?

Antoine Bordes : C’est un énorme succès. Lorsque nous avons ouvert le laboratoire en 2015, il avait une équipe de base de cinq personnes. Nous sommes maintenant 80 personnes à Paris, ce qui constitue une croissance très forte dans un milieu concurrentiel comme l’IA. Et c’est d’autant plus vrai que nos standards de recrutement sont extrêmement élevés. Ils sont les mêmes dans toutes les régions où nous recrutons. FAIR Paris est sans conteste l’un des meilleurs laboratoires de recherche en intelligence artificielle du monde.

La France, haut lieu de la recherche en intelligence artificielle, cela ne choque pas aujourd’hui mais ça n’était pas du tout une évidence il y a cinq ans…

C’est vrai, et Facebook était aussi beaucoup plus petit qu’aujourd’hui. Il faut rendre honneur à Yann LeCun, c’est lui qui a poussé ce projet, il y croyait vraiment et il a eu raison. C’est aujourd’hui notre plus grand centre de recherche avec celui situé en Californie. D’autres grandes entreprises comme Google ont suivi ces dernières années sous l’impulsion du président de la République, mais nous avons été pionniers. Plusieurs Français expatriés sont revenus, moi compris, il y a aussi des Américains… Nous avons désormais douze nationalités venues de toute l’Europe continentale.

L’une des raisons de votre implantation à Paris est l’excellent niveau de la recherche dans l’Hexagone. Comment en tirez-vous parti ?

Nous avons signé en cinq ans des partenariats avec tous les instituts de recherche français : Inria, CNRS, PRAIRIE… Nous accueillons plus de 30 doctorants grâce au programme Cifre, ce qui est énorme. Nous participons à des projets bilatéraux et faisons aussi des dons à la recherche. Nous avons notamment financé le supercalculateur Jean Zay, qui a été inauguré en janvier et est géré par le GENCI, à hauteur de 3 millions d’euros. Tout cela contribue à la création d’un écosystème, et nous en sommes fiers. Nos étudiants ont tendance à rester chez nous, mais certains sont maintenant chez Google. Et d’anciens chercheurs de notre laboratoire partent ensuite pour créer des start-up à Paris. C’est le cas notamment d’Alexandre Lebrun, qui a fondé Nabla, une start-up spécialisée dans la santé.

Quels sont les projets les plus emblématiques de FAIR Paris jusqu’ici ?

Plus de 50 projets ont été réalisés, mais je vais vous en citer trois qui me semblent représentatifs. Le premier concerne la traduction de texte non supervisée, sans dictionnaire qui fasse correspondre les deux langues. Le projet a commencé mi-2017 et l’idée était un peu saugrenue à l’époque, mais ça a très bien marché. On a montré que c’était possible. Nous avons obtenu le prix du meilleur article à la plus grande conférence sur le sujet : EMNLP. Et cela répond à un problème concret. Il y a plus de 200 langues sur Facebook. Pour faire de la traduction directe pour chacune d’entre elles avec les autres, cela donne 40 000 paires de langues… C’est tout simplement impossible de collecter autant de data sets. Pour les langues rares [sans beaucoup de traductions existantes vers d’autres langues, ndlr], on utilise aujourd’hui cette technologie pour faire les traductions.

Le second projet se nomme DensePose et il date de début 2018. C’est de la vision par ordinateur. Il s’agit d’un système d’estimation de pose et d’intention pour le corps humain. On suit 5000 points sur la surface du corps, ce qui permet de comprendre une image 2D en 3D. On peut ensuite appliquer des modifications dessus, par exemple pour changer les vêtements des personnes. Et désormais on peut le faire sur des objets déformables, notamment des animaux. Nous allons présenter des recherches sur le sujet à la conférence CVPR 2020.

Le troisième projet s’appelle BlenderBot et concerne les conversations. Il a été publié en avril cette année. Nous avons fait de l’apprentissage de modèle auto-supervisé, notamment en utilisant les données de Reddit. Cela nous a permis de créer un modèle avec 9,4 milliards de paramètres, soit plus de trois fois plus que le plus grand modèle précédent. Et on a vu qu’on obtenait des performances intéressantes. Nous avons fait des études avec des spécialistes et il ressort qu’il surpasse tous les autres chatbots pour ce qui est d’avoir des conversations intéressantes et naturelles, qui peuvent avoir l’air humaines.

Comment se passe le transfert des technologies que vous développez au sein de Facebook ? Est-ce que vous intervenez aussi au sein des équipes produits ?

Non, notre participation est minimale. Ce n’est pas notre cœur de métier. La mission de FAIR est d’avancer la recherche en intelligence artificielle dans la transparence et l’ouverture. C’est pourquoi tous nos projets sont réalisés sur des données publiques et sont publiés dans leur intégralité en open source. Et cela veut aussi dire être ouverts à la critique. Evidemment, nos recherches peuvent être intégrées dans les produits de Facebook et le sont régulièrement. Mais nous ne participons pas à l’élaboration des produits.

Facebook dispose aussi de nombreux laboratoires de recherche en réalité virtuelle et augmentée, réunis sous l’appellation Facebook Reality Labs. Est-ce qu’il vous arrive de collaborer avec eux ?

Oui il y a énormément de collaborations avec eux. Sur DensePose par exemple nous travaillons beaucoup avec l'équipe de Londres. Nous lui apportons des briques technologiques. Il y a aussi le projet Habitat, qui est à mi-chemin entre la robotique et la reconstitution 3D, pour entraîner des agents dans des environnements virtuels afin qu’ils puissent naviguer. C’est fait en Californie et nous travaillons main dans la main avec FRL sur ce projet. Ils apportent leur technologie de reconstruction d’environnements et nous la partie IA.

La recherche progresse vite dans le domaine de la perception 3D ?

Tout à fait, on peut s’attendre à énormément d’avancées sur la 3D dans les années à venir. Elles serviront pour la réalité virtuelle et augmentée ainsi que pour le mélange entre 3D et vidéo. Nous avons publié il y a quelques jours nos derniers travaux sur le sujet, qui seront présentés à la conférence CVPR 2020. Il y a des choses vraiment bluffantes. L’enjeu est de rendre la 3D facile à appréhender, sans caméra spéciale ni puissance de calcul démesurée. Nous y avons contribué entre autres avec PyTorch3D, que nous avons publié en open source en février. Je ne veux pas faire de prédiction, mais la technologie permettant de générer des avatars 3D en se scannant et s’insérer ensuite dans des environnements de manière naturelle arrivera plus rapidement qu’on ne le pense.

Vous avez mentionné l’apprentissage auto-supervisé pour BlenderBot, c’est la voie du futur selon vous ?

Ce n’est pas le futur, c’est déjà le présent depuis un ou deux ans. Que ce soit pour la vision par ordinateur, le traitement du langage naturel, ou la voix. En image, on est en train d’arriver avec de nouveaux travaux sur lesquels on a des pré-entraînements auto-supervisés à des résultats aussi bons qu’avec des modèles appris sur ImageNet. Pour le langage, ça fait plus d’un an avec RoBERTa. Il permet de détecter les propos haineux par exemple. Il est basé sur le projet XLM que nous avons publié en 2019, qui est une version améliorée du modèle BERT de Google. Il permet de faire du pré-entrainement auto-supervisé pour du texte multilingue. Et il prend ensuite un texte dans une vingtaine de langues et peut nous servir à faire de la détection de propos incitant à la haine. Pour la voix, ça a pris un peu plus de temps. Nous avons publié un projet qui a été mené en Californie appelé wav2vec, qui utilise de l’apprentissage auto-supervisé pour la reconnaissance vocale. Yann LeCun parle du sujet depuis quatre ou cinq ans.

Sur le sujet des propos haineux, la modération des contenus de Facebook est régulièrement critiquée pour ses erreurs ou sa lenteur. Est-ce que les progrès de la recherche vous laissent penser que ce problème pourra être réglé dans les années qui viennent ?

Oui et non. On a déjà fait énormément de progrès avec le modèle dont je vous parlais. On l’a appliqué aux propos haineux – ça a pris trois mois – et on a eu des réductions significatives par rapport à ce qui existait auparavant. Nous voyons des avancées continues. C’est surtout le cas en multilingue. Auparavant, on était plutôt bon en anglais et dans les autres langues c’était la catastrophe. Maintenant les avancées se traduisent dans les autres langues. Mais on peut toujours tourner la manivelle et les progrès vont continuer.

Cependant on touche aussi aux limites de la machine dans l’interprétation du contexte et du sens commun. Que quelqu’un dise quelque chose de façon ironique, sans le penser, ou au contraire qu’il fasse une insinuation dont la portée dépasse le texte littéral à cause d’un contexte culturel ou historique… Une machine ne peut pas gérer ce genre de subtilités. C’est pourquoi on parle d’aider les humains sur le sujet de la modération, mais jamais de les remplacer complètement. C’est impossible à mon sens. Le futur que je vois, ce sont des modérateurs humains mieux outillés grâce à l’IA.

Il semble y avoir une course à la grandeur depuis quelques années, avec la mise au point de centres de calculs toujours plus puissants pour traiter les plus grands sets de données possibles. On le voit par exemple au travers du partenariat d’OpenAI avec Microsoft. Y êtes-vous aussi sujet ?

Oui, c’est également notre approche avec l'apprentissage auto-supervisé : pas d’étiquettes mais énormément de données. Nous avons donc de très grosses infrastructures de calcul et nous faisons de l’apprentissage à très grande échelle. Il y a clairement cet enjeu des très gros modèles, et nous sommes très compétitifs dessus. Mais je veux aussi noter nos travaux sur de petits modèles qui prennent beaucoup moins d’énergie et de mémoire et peuvent être embarqués sur des téléphones. On essaie d’enlever des parties d’un modèle tout en gardant les mêmes performances, pour obtenir un modèle qui ne fait qu’un gigaoctet, voire même 100 Mo. Nous appelons ça de la compression de modèle.

On entend beaucoup parler de vision par ordinateur et de traitement du langage naturel. Est-ce que FAIR travaille aussi sur d’autres domaines de l’IA ?

Oui, ces sujets sont mis en avant car ils correspondent aux produits de Facebook mais nous travaillons aussi sur d’autres choses. En robotique notamment, on fait des choses très proches des maths appliquées sur la théorie de l’apprentissage. Ce sont des statistiques quasi-théoriques, on étudie comment la machine apprend, comment les biais se forment et comment on peut les supprimer, comment garantir qu’un système soit éthique. Et le troisième pilier ce sont les sciences cognitives : comment les humains apprennent, comment un enfant parvient à reconnaître un type d'animal avec seulement 2 images, ce genre de choses. Nous travaillons avec des laboratoires de sciences cognitives sur le sujet, Paris Sciences et Lettres et le laboratoire de l’Ecole Normale Supérieure à Paris notamment.

Puisqu'on parle de cognition, quelle est votre position sur la question de l’intelligence artificielle dite "forte", ou "Artificial General Intelligence" ? Au-delà des controverses médiatiques, le sujet divise aussi parfois les chercheurs…

Je suis un scientifique à la base et je me méfie de ce terme qui est mal défini. Il faut bien comprendre la façon dont les recherches sont conduites et la nature des progrès qui sont réalisés. La traduction semblait être un problème impossible à résoudre, et on y fait des progrès fulgurants. On peut aussi s’attendre à de grandes avancées sur la 3D.

Il y a également des choses très compliquées sur lesquelles on fera des progrès, comme le raisonnement, et je veux dire le raisonnement complexe, avec des dizaines d’étapes. C’est vraiment limité aujourd’hui, mais on développe en ce moment des projets qui relient l’intelligence artificielle avec la preuve de programme, sujet sur lequel on est très fort en France. [Cette discipline concerne l’analyse mathématique du code informatique pour certifier l’absence de bugs et vulnérabilités. Elle est utilisée pour les systèmes critiques, notamment dans le domaine spatial ou les centrales électriques, ndlr] Nous essayons de mélanger ces techniques entre elles, avec des IA qui prouveront ces théorèmes elles-mêmes. Mon intuition me dit qu’en ayant bien circonscrit le problème on arrivera à faire des gros progrès dessus. Mais ce seront des raisonnements dans une langue mathématique.

Ensuite il y a la conscience, le sens commun, le sens du monde. Et ça, c’est une recette dont on ne connaît pas les ingrédients. Pour l’instant on ne sait même pas comment travailler sur le problème. Faut-il répliquer ce que fait un bébé ? Est-ce qu'il faut tout lui faire apprendre, combiner plein de disciplines et compétences différentes ? Est-ce qu’il faut plutôt construire une base de données avec toute la connaissance du monde ? Pour l’instant on a très peu avancé. Je pense qu’il nous manque un ingrédient, une avancée scientifique déterminante. Peut-être qu’on va la trouver, mais peut-être qu’on ne la trouvera jamais.

Réagir

* Les commentaires postés sur L’Usine Digitale font l’objet d’une modération par l’équipe éditoriale.

 
media