Recevez chaque jour toute l'actualité du numérique

x

Intelligence artificielle : Meta ouvre gratuitement l'accès à son modèle de langage

Meta annonce le partage d'Open Pretrained Transformer (OPT-175B), un modèle de langage comportant 175 milliards de paramètres, au monde de la recherche. L'objectif est d'alimenter les débats autour de la réglementation de l'intelligence artificielle, afin de limiter les biais pouvant être perpétués par des algorithmes.
Twitter Facebook Linkedin Flipboard Email
×

Meta ouvre gratuitement l'accès à son modèle de langage
Intelligence artificielle : Meta ouvre gratuitement l'accès à son modèle de langage © Unsplash - Hitesh Choudhary

Meta veut favoriser la recherche autour de l'intelligence artificielle et plus particulièrement des modèles de langage. L'entreprise a annoncé le 3 mai 2022, dans un poste de blog, partager Open Pretrained Transformer (OPT-175B), un modèle de langage avec 175 milliards de paramètres formés sur des ensembles de données accessibles au public. OPT-175B comprend les modèles pré-entraînés ainsi que le code nécessaire pour les entraîner et les utiliser.

"Pour maintenir l'intégrité et prévenir les abus, nous publions notre modèle sous une licence non commerciale pour nous concentrer sur les cas d'usage de la recherche", écrit Meta. Universitaires et laboratoires de recherche pourront accéder à ces données.
 

Comprendre le fonctionnement des modèles

Un modèle de langage est un modèle statistique bâti à partir de la distribution de séquences de mots dans une langue naturelle. Le but est, par exemple, de prédire le mot suivant une séquence de mot. Les grands modèles de langage, comme les systèmes de traitement du langage naturel (NLP pour natural language processing), ont plus de 100 milliards de paramètres. Ces algorithmes sont entraînés grâce à des volumes massifs et variés de textes. Le but est qu'ils puissent générer des textes créatifs, résoudre des problèmes mathématiques de base, répondre à des questions de compréhension de lecture…

Les particuliers peuvent interagir avec ces modèles parfois ou être confrontés à des décisions qui s'appuient sur ces modèles. Mais l'accès complet aux recherches dans ce domaine est limité à quelques laboratoires disposant des ressources suffisantes. Il est donc compliqué pour les chercheurs de comprendre comment ces modèles de langage fonctionnent. Des points essentiels pour améliorer la robustesse des algorithmes et atténuer les problèmes liés aux biais qui peuvent perpétuer des préjugés autour de la couleur de peau, du sexe ou de la religion.

Compte tenu de l'utilisation des modèles de langage, il est essentiel que la société civile, les universitaires, les entreprises et les décideurs travaillent à élaborer des directives claires concernant l'intelligence artificielle et les grands modèles de langage.

Réagir

* Les commentaires postés sur L’Usine Digitale font l’objet d’une modération par l’équipe éditoriale.