Meta lance Llama 2, un grand modèle de langage open source et gratuit même pour une utilisation commerciale
Alors que les modèles d'intelligence artificielle générative font le fruit d'une compétition éffrenée, Meta jette un pavé dans la mare en publiant gratuitement la nouvelle version de son grand modèle de langage, dont l'utilisation à des fins commerciales est autorisée pour la première fois.
Julien Bergounhoux
A l'occasion de la conférence Microsoft Inspire, Meta a dévoilé le 18 juillet la nouvelle génération de son grand modèle de langage Llama. Fidèle aux principes de Meta, Llama 2 est open source et disponible gratuitement pour la recherche. Mais la grande nouveauté est qu'il peut pour la première fois être utilisé à des fins commerciales, toujours gratuitement. Les poids et le code source sont inclus pour les modèles pré-entraînés et les versions fine-tunées.
Meta se place ainsi en compétiteur direct de Google et OpenAI, qui exploitent tous les deux leurs recherches en IA à des fins commerciales. OpenAI, contrairement à ce que son nom indique, a une approche strictement propriétaire et fermée, tandis que Google, qui prônait également l'ouverture jusqu'à présent, a décidé de verrouiller ses recherches en réponse à la stratégie d'OpenAI. L'annonce risque aussi de faire de l'ombre aux nombreuses start-up qui se sont montées pour capitaliser sur le boom de l'IA générative, comme Anthropic, Cohere ou Mistral AI.
Llama 2 a été entraîné avec 40% de données en plus par rapport à Llama 1, et a doublé la longueur de sa fenêtre contextuelle. Trois tailles de modèles sont disponibles : 7, 13 ou 70 milliards de paramètres. Le modèle est pré-entraîné sur 2 milliards de milliards de jetons avec une longueur contextuelle de 4096 jetons. Le fine-tuning pour les cas d'usage "chatbot" s'est appuyé sur plus d'un million d'étiquettes.
Disponible dès aujourd'hui sur Azure, bientôt sur AWS
Si l'annonce s'est faite à Inspire, c'est que Microsoft est le "partenaire privilégié" de Meta pour Llama 2 par le biais de sa plateforme cloud Azure. Néanmoins Llama 2 sera également disponible sur Amazon Web Services, Hugging Face, et d'autres fournisseurs. Meta liste entre autres IBM, Accenture, Atlassian, Surge AI, Databricks ou Orange parmi ses nombreux partenaires. Outre le cloud, Llama 2 est optimisé pour fonctionner localement sur Windows, et Qualcomm prévoit de faire tourner des implémentations de Llama 2 sur smartphones dès l'année prochaine.
Il est notable que Meta ne propose pas d'utiliser ce modèle depuis ses propres infrastructures. L'entreprise dispose historiquement de capacités de calcul importantes et de datacenters situés dans toutes les zones géographiques clés (liés à son activité dans les réseaux sociaux), mais n'a jamais lancé d'offre de cloud public, contrairement à Amazon, Microsoft et Google. Cela ne rentre pas dans son modèle économique.
A noter que Meta a quand même placé une limite à l'exploitation commerciale de Llama 2 : si son utilisation dépasse 700 millions d'utilisateurs actifs mensuels, il est nécessaire de demander une license spécifique. Un chiffre particulièrement élevé que peu d'entreprises sont susceptibles d'atteindre... en dehors peut-être des principaux concurrents de Meta.
Une approche responsable basée sur l'ouverture et la transparence
L'un des points sur lesquels Meta insiste le plus après l'ouverture et la gratuité est le fait d'avoir une approche "responsable". Les versions fine-tunées de Llama 2 ont ainsi été testées extensivement pour être plus "sûres", et ces efforts se poursuivront dans le temps. Le modèle a été entraîné sur "une combinaison de sources" qui incluent des informations siphonnées sur Internet. Meta assure qu'aucune information venant de ses utilisateurs n'a servi à cet entraînement et que les sites contenant d'importantes quantités de données personnelles ont été exclus.
Meta a par ailleurs publié un "schéma de transparence" qui détaille ses méthodes d'évaluation du modèle, ses lacunes potentielles, les mesures d'atténuations prises pour y remédier, etc. Il est complété par un "guide d'utilisation" qui rappelle les bonnes pratiques à mettre en œuvre pour éviter notamment les biais cognitifs et autres. Et bien sûr l'utilisation du modèle est proscrite à des fins criminelles ou non éthiques.
En parallèle, Meta a aussi lancé aujourd'hui un programme de partenariat universitaire autour de l'utilisation responsable de ces grands modèles de langage. La position de l'entreprise est que l'ouverture et la transparence sont les meilleurs moyens de garantir la sûreté de ces technologies, chacun pouvant collaborer à leur amélioration.
SUR LE MÊME SUJET
1Commentaire
Réagir
