OpenAI monte une équipe pour se préparer aux "risques catastrophiques" de l'IA

Sam Altman, cofondateur et CEO d'OpenAI, alimente régulièrement les craintes les plus vives vis-à-vis de l'essor de l'intelligence artificielle. Après avoir évoqué un juin un "risque d'extinction" que ferait peser cette technologie sur l'humanité et avoué se préparer de son côté à une apocalypse future, le patron de la start-up à l'origine de l'outil révolutionnaire ChatGPT a annoncé la création d'une équipe dédiée à l'anticipation des "risques catastrophiques" que peut poser une IA placée entre de mauvaises mains.

Cette unité intitulée "Preparedness" évoluera au sein d'OpenAI sous la direction d'Aleksander Madry, professeur au Massachusetts Institute of Technology (MIT) à la tête sur place du Center for Deployable Machine Learning (CDML). Elle aura pour mission de suivre, évaluer, prévoir et mettre en place des moyens de protection contre des risques. OpenAI ne détaille pas le nombre d'employés qui serviront cet objectif mais a publié deux offres d'emploi, l'une pour un poste de chercheur en menaces pour la sécurité nationale et l'autre pour être ingénieur de recherche.

Cybersécurité, nucléaire et autonomisation de l'IA

Les thématiques sur lesquelles OpenAI fera travailler cette nouvelle équipe sont particulièrement variées. Sont d'abord mentionnées la "persuasion individualisée" et la cybersécurité, l'émergence d'outils d'IA générative ayant permis par exemple d'usurper plus facilement une identité ou d'améliorer des campagnes de phishing. La start-up évoque également des craintes bien plus critiques comme "les menaces chimiques, biologiques, radiologiques et nucléaires" sans donner plus de détails sur le rôle de l'IA et sur les méthodes à employer pour les contrer.

Un dernier point d'attention concerne "la reproduction et l'adaptation autonomes (ARA)", une expression qui n'est une fois de plus pas détaillée mais dont on trouve quelques traces sur Internet. Il s'agirait manifestement pour les systèmes d'intelligence artificielle de devenir autonomes sur certains aspects, réduisant le contrôle que leurs créateurs humains ont sur eux. De la même façon que la science-fiction et les récits d'anticipation l'ont mis en scène, ces modèles pourraient ainsi générer eux-mêmes des revenus, s'en servir pour alimenter leur montée en puissance, s'adapter sans cesse et contourner des obstacles extérieurs visant notamment à les arrêter.

Un concours pour trouver des idées

L'équipe "Preparedness" a donc du pain sur la planche. Ses membres devront élaborer et maintenir "une politique de développement qui tienne compte des risques". "Cette politique détaillera notre approche de l'évaluation et du suivi rigoureux des capacités des modèles d'avant-garde, de la création d'un éventail d'actions de protection et de la mise en place d'une structure de gouvernance pour la responsabilité et la supervision de ce processus de développement", explique la start-up.

En plus de ces deux ouvertures de postes et dans un souci d'externalisation de la recherche, OpenAI a lancé un défi ouvert au public et baptisé AI Preparedness Challenge. Jusqu'au 31 décembre 2023, chacun pourra ainsi envoyer des idées via un formulaire en ligne adressé à la nouvelle équipe. Les candidats doivent imaginer qu'ils ont accès aux ressources d'IA générative les plus puissantes et "envisager l'utilisation abusive du modèle la plus unique, qui soit probable et potentiellement catastrophique".

Il leur est demandé de détailler ces suggestions et d'échafauder des protocoles expérimentaux et des idées pour atténuer ces risques. Les auteurs des dix propositions les plus pertinentes se verront accorder quelque 25 000 dollars chacun (en crédits API) et, éventuellement des propositions d'embauche au sein de l'unité "Preparedness".

Sélectionné pour vous

Le ministère marocain de la Transition Numérique signe un contrat pluriannuel avec Mistral AI

Accenture renforce les compétences de 700 000 employés sur l'IA agentique

Cohere choisit Paris comme centre névralgique pour ses activités en Europe