Microsoft a construit l'un des supercalculateurs les plus puissants du monde pour OpenAI

La conférence pour développeurs de Microsoft, Build, se déroule cette année en ligne, mais l'entreprise de Redmond n'a pas pour autant lésiné sur les annonces. Ce 19 mai, elle révèle le fruit de sa collaboration avec OpenAI, organisation dans laquelle elle a investit un milliard de dollars en juillet dernier. Microsoft a construit pour OpenAI un superordinateur qui rentre d'après lui dans le top cinq des machines les plus puissantes au monde, du moins parmi celles dont la puissance de calcul est connue.

Le supercalculateur est hébergé au sein d'Azure mais son usage est exclusivement réservé à OpenAI, qui a d'ailleurs participé à sa conception. Il dispose de plus de 285 000 cœurs CPU, 10 000 GPU, et 400 gigabits par seconde de connectivité pour chaque serveur GPU. Il est dédié à l'entraînement de modèles d'intelligence artificielle "extrêmement grands", et Sam Altman, le CEO d'OpenAI, le décrit comme son "système rêvé". L'entraînement de modèles complexes à l'aide de très larges sets de données est l'une des marques de fabrique d'OpenAI, et lui a permis de se démarquer de la concurrence par le passé.

Microsoft présente ce superordinateur comme une première étape vers la mise à disposition de ce type d'infrastructure et de modèles d'IA massifs à d'autres entreprises. Kevin Scott, CTO de Microsoft, explique dans un communiqué que cela permettra de faire "100 choses excitantes d'un seul coup en matière de traitement du langage naturel ou de vision par ordinateur", et que la combinaison de ces domaines entre eux résultera en "de nouvelles applications qu'il est difficile d'imaginer aujourd'hui".

Le projet est né de recherches récentes qui indiquent que dans certains cas de figure un modèle géant abreuvé de milliards de documents donne de meilleurs résultats que de plus petits modèles entraînés avec des données spécifiques annotées. Microsoft prend l'exemple de la compréhension des nuances d'une langue et de son utilisation pour plusieurs tâches distinctes : résumer un long discours, assurer la modération des commentaires lors du streaming d'un jeu en ligne, rechercher des extraits de documents légaux, voire même générer du code automatiquement depuis GitHub.