Recevez chaque jour toute l'actualité du numérique

x

Dans la perspective de la nouvelle réglementation sur l'IA, la Cnil se prépare à auditer les algorithmes

Dans le cadre du futur règlement européen sur l'IA, la Cnil pourrait être l'autorité en charge de contrôler les systèmes dits à "haut risque". Elle va donc devoir comprendre leur fonctionnement via des audits. Afin de se préparer à ces futures missions, elle a testé deux dispositifs développés par le chercheur Clément Hénin qui s'est entretenu avec L'Usine Digitale pour en expliquer le fonctionnement. 
Twitter Facebook Linkedin Flipboard Email
×

Dans la perspective de la nouvelle réglementation sur l'IA, la Cnil se prépare à auditer les algorithmes
Dans la perspective de la nouvelle réglementation sur l'IA, la Cnil se prépare à auditer les algorithmes © Unsplash

Présenté en avril 2021, le projet de règlement européen sur l'intelligence artificielle prévoit que les systèmes à "haut risque" – tels que les dispositifs de reconnaissance faciale – devront faire l'objet d'audits pour pouvoir être commercialisés au sein du marché unique. L'objectif est de vérifier qu'ils respectent bien la réglementation en vigueur (principe de non-discrimination, respect de la vie privée…).
 

comprendre pour auditer

La Commission nationale de l'informatique et des libertés (Cnil) pourrait être l'autorité en charge de contrôler et de sanctionner les entreprises en cas de manquements. Or, pour mener ces futures missions, elle devra être en mesure d'examiner le fonctionnement des algorithmes. Pour s'y préparer, elle a travaillé avec Clément Henin, actuel conseiller référendaire en service extraordinaire de la Cour des comptes et chercheur au sein de l'équipe-projet Privatics de l'Institut national de recherche en sciences et technologies du numérique (Inria). Il est l'auteur d'une thèse parue en 2021 sur l'explication et la justification des "systèmes de décisions algorithmiques", menée sous la direction de Daniel Le Métayer et Claude Castelluccia.

Il est important de préciser que les travaux de Clément Henin ne portent pas que sur l'intelligence artificielle. Il regrette d'ailleurs que la Commission européenne ait choisi ce terme pour nommer son règlement. "Il y a d'autres algorithmes qui peuvent poser des problèmes même s'ils n'emploient pas de l'IA", explique-t-il à L'Usine Digitale. C'est ainsi qu'il définit l'IA comme "un algorithme qui n'a pas son comportement entièrement programmé par un humain mais est capable d'une forme d'apprentissage à partir des données (machine learning) ou d'expériences (l'apprentissage par renforcement)". A cette définition, il y oppose celle d'un système de décision algorithmique : "l'utilisation d'un algorithme dans un processus de décision" dans lequel l'humain a une place beaucoup plus importante.

La Cnil a testé deux outils : IBEX et Algocate

Dans le cadre de la collaboration avec la Cnil, une trentaine d'agents chargés du contrôle ont testé deux outils développés par Clément Henin : IBEX (pour Interactive Black-box EXplanation) et Algocate (concaténation d'algorithm et d'advocate). Le premier est un système d'explication en boîte noire, c'est-à-dire fonctionnant à partir des entrées et sorties sans accéder au code du système. Il permet à l'utilisateur – profane ou expert – de choisir le type d'explication qu'il souhaite obtenir, sous la forme d'un diagramme, une règle de décision ou la présentation d'un contrefactuel. Pour construire des explications, IBEX commence par sélectionner un ensemble d'entrées. Les liens entre ces entrées et les sorties correspondantes sont ensuite analysés afin de générer l'explication finale.


Pour des questions juridiques, un cas fictif a été choisi, celui d'une entreprise proposant des crédits à la consommation. A partir d'un jeu de données, les équipes ont construit un algorithme à auditer sur lequel a été testé IBEX. L'expérimentation a été menée à partir d'une plateforme en ligne. Les agents de la Cnil ont ainsi dû répondre à des questions sur des décisions algorithmiques fictives pour tester leur compréhension du système.

Confronter des décisions aux normes de la société

De son côté, Algocate fonctionne selon "un système d'affirmation". A la différence des explications proposées par IBEX, dont le but est de faire comprendre le fonctionnement de l'algorithme, les justifications tentent de convaincre que la décision est bonne. Clément Hénin explique pour obtenir une justification, il faut d'abord que soit défendue une décision, nommée "la décision attendue". Un utilisateur doit donc donner les raisons qui lui laissent penser que la décision issue du système algorithmique est mauvaise. En l'espèce, il peut contester le refus de crédit à la consommation arguant qu'il s'agit de sa première demande de crédit et qu'il s'agit d'un montant faible. Une fois formalisée, la contestation est analysée par Algocate à la lumière des normes de la société, par exemple les principes de non-discrimination. 

Clément Hénin nous explique que de manière générale, ces expérimentations ont été fructueuses ; de son côté pour tester IBEX et Algocate sur le terrain et du côté de la Cnil pour améliorer les performances de ses agents. 

Réagir

* Les commentaires postés sur L’Usine Digitale font l’objet d’une modération par l’équipe éditoriale.