Projet Athena : Microsoft prépare une puce spécialisée dans l'IA pour s'émanciper de Nvidia

Microsoft préparerait sa propre puce pour accélérer les calculs liés à l’intelligence artificielle, et ce tout particulièrement afin d'entraîner de grands modèles de langage (LLM), selon le média américain The Information, qui a recueilli les confidences de deux personnes proches du dossier.

Optimiser les temps de calcul... et les coûts

Le projet, jusqu’ici resté confidentiel, a été baptisé "Athena". Il aurait été initié en 2019, mais a été accéléré depuis le succès de ChatGPT et l’engouement que ce dernier a suscité pour les LLM. L'objectif est de s’émanciper au maximum de Nvidia, principal fournisseur mondial de cartes graphiques (détenant 95% du marché des GPU utilisés pour le machine learning selon New Street Research), et surtout de permettre à Microsoft et OpenAI de faire d'importantes économies.

Oui, car l’entraînement des LLM nécessite des calculs particulièrement intensifs, ce qui le rend long et très coûteux. L'optimisation de ces charges de travail est un facteur clé de compétitivité, et ces composants de pointe sont donc difficiles à obtenir en quantités suffisantes suite à la course à la puissance que se livrent les hyperscalers. Les derniers GPU H100 de Nvidia se revendent à plus de 40 000 dollars actuellement, ce qui illustre la tension sur ce marché. Or, selon certaines estimations, OpenAI aurait besoin de plus de 30 000 puces A100 de Nvidia dans le cadre de la commercialisation de ChatGPT.

Plusieurs générations à venir

On ne sait pas encore si Microsoft mettra ces puces à la disposition des clients de sa plateforme cloud Azure, mais l'entreprise aurait l'intention de les rendre largement disponibles pour ses propres projets ainsi que ceux d'OpenAI, et ce dès l'année prochaine, selon The Information. Certains de ses employés et de ceux d'OpenAI testeraient déjà les performances de la puce sur les derniers grands modèles de langage, et notamment GPT-4. Microsoft aurait par ailleurs établi une feuille de route sur plusieurs générations pour ces accélérateurs.

Microsoft n’est pas le premier des géants de la tech à vouloir s’affranchir de l’hégémonie opérée par Nvidia sur le marché des accélérateurs. Meta et Amazon disposent eux aussi de leurs propres puces dédiées à l’IA, tout comme Google, qui a même récemment assuré que ses puces TPU v4 étaient plus rapides et moins énergivores pour entraîner les modèles d’IA que les GPU A100 conçus par Nvidia.

Sélectionné pour vous

Apple signe un contrat de plusieurs milliards de dollars avec Broadcom sur la 5G

La Chine prend des sanctions contre Micron, une riposte aux mesures américaines ?

Meta développe lui aussi une puce dédiée à l'intelligence artificielle