"Les LLMs ne sont pas le mot de la fin pour l'AGI", Naila Murray (Meta)

L'Usine Digitale : En 2020, pour les 5 ans de FAIR à Paris, j’avais interviewé Antoine Bordes, qui est parti depuis [chez Helsing, ndlr]...

Naila Murray : Oui mais il fait encore partie de la famille, il vient nous voir assez souvent.

...et il m’avait dit que le laboratoire parisien était passé de deux personnes à son lancement début 2015 à 80 personnes en 2020. Combien êtes-vous aujourd’hui ?

A peu près autant en matière de chercheurs, néanmoins il y a aussi désormais les équipes de la division "Gen AI", donc si on réfléchit plus globalement, les équipes dédiées à l’intelligence artificielle à Paris ont fortement augmentées. Cela représente plusieurs centaines de personnes.

FAIR Paris est toujours votre plus grand centre de recherche en intelligence artificielle après la Californie ?

Oui, pour la recherche fondamentale il s’agit de notre plus grand pôle en dehors de l’Amérique du Nord.

Est-ce qu'il y a des différences entre la recherche en Europe et aux Etats-Unis ?

Non, nous gardons le même engagement. La densité de talents que l’on trouve en France reste exceptionnelle, et c’est peut-être encore plus le cas aujourd’hui qu’il y a 10 ans. Rien ne changera donc à ce niveau, et cela vaut aussi pour l’Europe plus généralement.

Quels sont vos projets d'investissement en France ? Vous aviez investi 3 millions d’euros dans le supercalculateur GENCI il y a quelques années, et la question des infrastructures de calcul est plus d'actualité que jamais. Avez-vous quelque chose de prévu à ce niveau ?

Nous allons investir 2,2 millions de dollars pour nos recherches avec la Fondation de l'hôpital Rothschild à Paris, dans le cadre du projet Brain2Qwerty. C'est un modèle d'IA capable de décoder jusqu'à 80% des caractères tapés par des participants ayant subi des lésions cérébrales et dont la parole et la communication sont limitées, en utilisant des dispositifs de magnétoencéphalographie d’électroencéphalographie non invasifs. C'est tout ce que je peux vous dire aujourd'hui.

A propos de ce projet, envisagez-vous à terme un éventuel usage au-delà du domaine médical ? Par exemple avec des lunettes de réalité augmentée comme le prototype Orion, en complément du bracelet de Ctrl Labs...

C’est 100% dédié au domaine médical pour l’instant, mais c’est une question intéressante, c’est vrai qu’il pourrait peut-être y avoir des applications en tant qu’interface utilisateur à plus long terme. Mais c’est trop tôt pour réfléchir à ce type d’usage car la technologie fait encore trop d’erreurs, elle n’est précise qu’à 80%. Il faudra en reparler d’ici quelques années !

Mistral a aussi été en partie fondée par d'anciens chercheurs de Meta, vous avez toujours de bons rapports ?

Nous sommes assez fiers de pouvoir propager nos talents dans l’écosystème local. Il y a pas mal d’interactions entre nos chercheurs et ceux d’autres entreprises et organisations locales, car cela reste au final une petite communauté. C’est un peu une grande famille et quand de nouvelles start-up sont créées, c’est juste la famille qui s’agrandit.

En parlant de start-up innovantes, DeepSeek a fait beaucoup de bruit récemment, notamment aux Etats-Unis où cela a crispé certaines entreprises qui ont des modèles propriétaires. En tant que chercheuse, comment percevez-vous l’émergence de cette pépite qui s’est appuyée sur les travaux de Meta pour créer ses modèles ?

Cela démontre le fait qu’on peut beaucoup avancer en travaillant avec la communauté globale, et parfois de façon surprenante. Cela peut sembler évident mais c’en est la preuve concrète. Cela conforte notre position depuis déjà 10 ans chez Meta, où nous avons toujours pris le parti de l’ouverture, que ce soit avec PyTorch, LLaMa ou d’autres.

Vous évoquiez la division Gen AI plus tôt. Il y a 5 ans, FAIR était complètement séparé des équipes produit. Est-ce que les choses ont changé depuis ? Est-ce que vous avez plus d'interactions avec des chercheurs intégrés au sein des équipes produit, est-ce qu'il y a des changements d'équipes ?

Notre relation avec "Gen AI" est plus proche car ils ont des chercheurs qui travaillent sur des sujets proches des notres. La différence c’est que nous travaillons sur des technologies et outils à plus long terme. Mais il est important pour nous d’être suffisamment proches d’eux pour leur transférer nos technologies lorsque cela peut leur être bénéfique. De ce point de vue je pense que nous sommes plus proches d’eux que d’autres groupes au sein de Meta. Pour ce qui est des talents, nous sommes globalement assez flexibles chez Meta en matière de mobilité interne si cela a du sens pour le collaborateur.

On parle beaucoup de "World Foundation Models" ces temps-ci, mais à quel horizon vont-ils arriver ? Il y a des progrès mais cela reste encore assez flou...

Oui, c’est un peu difficile à dire. Plusieurs avancées majeures seront nécessaires pour y parvenir et il est très difficile de prédire quand elles auront lieu. Je dirais que d’ici cinq ans on devrait avoir quelque chose, mais je ne saurais dire si on verra des avancées significatives dans les douze prochains mois ou si cela prendra plusieurs années.

Est-ce que vous collaborez avec les équipes de Reality Labs Research à ce sujet ? Par exemple en utilisant les données issues de leurs lunettes de recherche Aria, ou d’environnements simulés vus à la première personne par exemple ?

Nous collaborons étroitement avec Reality Labs sur plusieurs sujets, et plus spécifiquement nous travaillons sur les systèmes de récolte de données comme Aria en effet, et sur des projets comme Ego4D, qui entraînent des modèles qui peuvent suivre l’utilisateur quand il fait une activité, pour vous donner quelques exemples. L’équipe DINO travaille aussi étroitement avec eux.

Que pensez-vous de l'effervescence actuelle autour des robots humanoïdes ?

C’est vrai qu’il y a eu des avancées importantes récemment, qui vont changer la direction de la recherche en IA pour être honnête. Parce que les chercheurs en IA diraient, et je ne sais pas si les roboticiens seraient d’accord, mais ils diraient que le software est plus avancé que le hardware. Et on a tous le sentiment dans la communauté que les robots physiques sont devenus une plateforme dans laquelle on peut désormais mettre de l’IA plus complexe, qui peut agir d’une manière "agentique", et ça va changer pas mal de choses à l’avenir. A titre personnel je m’attends dans les prochains 6 à 18 mois à voir des avancées combinant robots physiques et systèmes d'IA complexes qui peuvent raisonner.

Mais ces modèles capables auront besoin du cloud, non ? Ou peuvent-ils déjà tourner "at the edge" ?

Très honnêtement je pense qu’on n’en est pas loin. On peut vraiment réduire la taille des modèles de façon assez importante de nos jours, et les nouvelles puces optimisées pour ces architectures vont permettre d’embarquer des modèles assez complexes sur les robots.

De manière générale, sur le plan de la taille des modèles, il y a toujours une course à l’armement pour la construction de data centers géants, à laquelle participe d’ailleurs Meta. Quand va-t-on prioriser le fait d’avoir des modèles plus petits et moins énergivores, par opposition aux énormes modèles qui sont à la pointe de la technologie à l'heure actuelle ?

Mon sentiment c’est qu’il est encore un peu tôt pour vraiment se focaliser sur l’un plutôt que sur l’autre. Nous avons un long historique chez FAIR en matière d’optimisation et d’efficacité des modèles, et nous avons vu récemment dans la communauté des résultats importants en la matière, qui nous intéressent évidemment. Donc nous allons continuer à travailler sur ces deux aspects en parallèle, à la fois l’amélioration des modèles avec des modèles plus grands, et leur réduction pour faire l’équivalent voire mieux à des tailles plus petites. Nous continuous d’explorer toutes les voies.

Yann LeCun répète depuis plusieurs années que les LLMs sont une voie sans issue pour créer une intelligence plus "générale", ce que vous appelez l'Advanced Machine Intelligence (AMI) chez Meta. Il se concentre à la place sur son architecture JEPA. Je suis curieux de connaître votre opinion à ce sujet, comment vous envisagez la prochaine grande avancée dans votre discipline.

Je ne pense pas que les LLMs soient le mot de la fin, et je dirais que personne ne le pense vraiment. Un modèle de langage seul ne pourra pas donner une intelligence artificielle générale. Mais est-ce que JEPA est la réponse ? Je n’en suis pas sure. C’est une architecture très prometteuse, mais qui doit faire ses preuves. Il est trop tôt pour se prononcer. Je reste convaincue qu’on ne peut pas dire aujourd’hui si une architecture ou une autre sera la bonne pour atteindre l’AGI, ou qu’il suffit de faire un modèle plus grand ou plus efficace. Il reste des "breakthroughs" assez fondamentaux à effectuer, à la fois dans les architectures mais aussi dans l’utilisation des données.

Sélectionné pour vous

Lyft déploie timidement ses premiers "taxis autonomes" avec May Mobility à Atlanta

Mitsubishi Electric rachète Nozomi Networks pour se renforcer dans la cybersécurité industrielle

Google Cloud assis sur une mine d'or grâce à l'IA