Google assure faire mieux que Nvidia pour l'entraînement de modèles d'IA générative
La filiale d'Alphabet avance que ses puces TPU v4 sont plus rapides et consomment moins d'énergie pour entraîner les modèles d'intelligence artificielle générative que les GPU A100 conçus par le pionnier des processeurs graphiques. Une comparaison qui ne prend pas en compte les derniers GPU H100 de Nvidia.
TPU contre A100. Derrière ces acronymes se cache l’autre bataille de l’intelligence artificielle générative. Celle-ci se déroule en coulisses, dans les data centers où sont entraînés puis déployés les modèles de création de texte ou d’image. Elle oppose notamment deux géants américains : Nvidia, le pionnier des processeurs graphiques, et Google.
Mardi 4 avril, le géant de la recherche sur Internet a publié un article scientifique pour mettre en avant les performances de la quatrième et dernière génération de sa puce TPU, qu’il utilise en interne depuis 2020 pour ses développements dans le domaine de l’intelligence artificielle. Selon Google, celle-ci est jusqu’à 1,7 fois plus rapide et consomme jusqu’à 1,9 fois moins d’énergie que la puce A100 de Nvidia, qui était sortie en 2020.
4096 puces dans un superordinateur
Si cette comparaison avantage le groupe de Mountain View, Nvidia vient de lancer une nouvelle carte, appelée H100, beaucoup plus puissante – et aussi beaucoup plus chère – que la précédente. Sans le confirmer officiellement, Google laisse entendre qu’il travaille bien sur une nouvelle version de sa puce pour tirer profit des récents progrès technologiques.
Dans sa publication, Google livre aussi des détails sur les superordinateurs TPU v4 qu’il a bâtis dans ses data centers. Ceux-ci sont composés de 4096 puces de dernière génération, reliées entre elles par des commutateurs de circuits optiques, également développés en interne.
Ces monstres de puissance de calcul ont notamment été utilisés pour entraîner les grands modèles de langage développés par Google. Et en particulier PaLM, qui devrait bientôt remplacé son prédécesseur LaMDA sur le robot conversationnel Bard – la riposte de la société à ChatGPT. Son entraînement a nécessité deux superordinateurs tournant à plein temps pendant 50 jours.
Nvidia a lancé sa propre offre cloud
Les TPU v4 sont aussi derrière Midjourney, l’impressionnant générateur d’images qui fait beaucoup parler de lui depuis l'année dernière, et qui a rapidement éclipsé DALL-E 2 d'OpenAI. Pour rappel, ChatGPT a lui été entraîné sur un superordinateur construit par Microsoft, partenaire exclusif de la start-up OpenAI, sur son cloud Azure. Celui-ci serait composé de plus de 10 000 cartes A100, selon les informations de l'agence Bloomberg.
Google et Nvidia ne sont pas directement concurrents. La filiale d'Alphabet, qui a d’abord conçu ses puces pour son utilisation interne, souhaite désormais profiter de l’IA générative pour attirer de nouveaux clients pour son offre de cloud computing – comme il l’a déjà fait avec d'autres fonctionnalités de machine learning.
Le géant du GPU ambitionne, lui, surtout de vendre ses processeurs à un maximum de clients, hyperscalers compris. Le mois dernier, à l'occasion de sa conférence GTC, il a officialisé plusieurs contrats importants. Mais les coûts importants de ses produits conduisent les géants du cloud comme Google, mais aussi Amazon, à développer leurs propres accélérateurs pour l'IA.
Nvidia a aussi des vélléités dans le cloud, et vient d'annoncer une offre permettant aux entreprises de louer ses supercalculateurs DGX, composés de huit cartes H100, pour entraîner leurs modèles. Celle-ci offre sera hébergée chez Oracle, Microsoft et… Google.
SUR LE MÊME SUJET
Google assure faire mieux que Nvidia pour l'entraînement de modèles d'IA générative
Tous les champs sont obligatoires
0Commentaire
Réagir