Recevez chaque jour toute l'actualité du numérique

x

Labels, essais cliniques, confiance… Quels leviers pour lutter contre les biais des algorithmes ?

Étude L'Institut Montaigne publie un rapport sur les biais des algorithmes. Le think tank français formule deux recommandations principales : la mise en place d'un test a priori et la création de labels volontaires. Pour le groupe de travail, mettre en place une nouvelle réglementation serait une erreur car elle risquerait de bloquer l'innovation.
Twitter Facebook Linkedin Flipboard Email
×

Labels, essais cliniques, confiance… Quels leviers pour lutter contre les biais des algorithmes ?
Labels, essais cliniques, confiance… Quels leviers pour lutter contre les biais des algorithmes ? © Unsplash/ Christina

L'Institut Montaigne publie un rapport* sur les biais des algorithmes le 10 mars 2020. Le think thank consacré aux politiques publiques en France recommande la mise en place d'un test préventif des algorithmes pour vérifier l'absence de biais, ainsi que l'instauration de labels.

 

Le groupe de travail, composé d'une vingtaine de personnes, estime en revanche qu'il n'est pas nécessaire d'adopter une nouvelle réglementation. Une prise de position aux antipodes de celle de la Commission européenne, qui vient de publier sa stratégie sur le sujet

 

Des algorithmes discriminatoires

"Pour lutter contre les discriminations, on peut penser que les algorithmes vont nous aider. En effet, l'utilisation d'un algorithme revient à formaliser des règles applicables à tous", déclare Anne Bouverot, présidente du conseil d'administration de Technicolor, cofondatrice de la Fondation Abeona et présidente du groupe de travail, interrogée par L'Usine Digitale.

 

Mais de nombreux exemples ont contredit cette idée. Début novembre 2019, le développeur David Heinemeier Hansson, créateur notamment de Ruby on Rails, affirmait preuves à l'appui que l'algorithme derrière la carte de crédit d'Apple était sexiste. En 2015, Amazon avait décidé d'utiliser un système automatisé pour recruter. L'initiative a été interrompue car seuls des hommes étaient choisis, résultat de données d'entraînement biaisées. "Face à ces cas, nous avons estimé qu'il était important d'étudier ces biais et de formuler des recommandations", poursuit-elle.

 

Les biais proviennent essentiellement de deux sources. D'abord le programmeur lui-même, qui intègre dans ses algorithmes ses propres croyances et biais cognitifs (par exemple que les hommes s'intéressent plus à la technologie que les femmes). D'autres découlent des données qui nourrissent le système, à partir desquelles il est entraîné. Plusieurs études ont, par exemple, montré que certaines technologies de reconnaissance faciale fonctionnaient nettement moins bien sur les peaux foncées. Tout simplement, ces outils sont majoritairement conçus et entraînés sur des hommes hétérosexuels à la peau blanche.

 

Les normes actuelles suffisent

L'Institut Montaigne a une position bien particulière. Il refuse d'appeler à la mise en place d'une règlementation dédiée. "Nous considèrons qu'il y a déjà des tas de choses qui existent, déclare Anne Bouverot puis ajoute, il faut plutôt comprendre comment se développe l'IA et faire des recommandations plus concrètes". Pour le groupe de travail, les normes actuelles suffisent à encadrer l'utilisation d'algorithmes biaisés et à punir ces comportements.

 

Le droit français et européen interdit toute discrimination fondée sur l'origine, le sexe, les mœurs, l'orientation ou l'identité sexuelle, l'âge, de la situation de famille ou de la grossesse, des caractéristiques génétiques, l'appartenance ou de la non-appartenance, vraie ou supposée, à une ethnie, une nation ou une race, des opinions politiques, des activités syndicales ou mutualistes, des convictions religieuses, de l'apparence physique, du nom de famille, du lieu de résidence ou en raison d'un état de santé ou d'un handicap.

 

En cas de comportement discriminatoire, Anne Bouverot affirme que les responsables seront facilement identifiables, mais sans détailler les articles de loi à mobiliser. "Nous estimons qu'une entreprise qui recrute est responsable de son processus, donc en cas de discrimination, elle sera responsable", déclare-t-elle. Mais l'attribution de la responsabilité ne semble pas si simple dans les faits. Le développement d'un algorithme puis son utilisation met en relation plusieurs personnes. Les ingénieurs responsables du développement, ceux en charge de l'assurance qualité, les managers et dirigeants de l'entreprises commercialisant la solution, les dirigeants de l'entreprise cliente, les responsables du service informatique de ladite entreprise qui ont choisit la solution, les utilisateurs finaux, etc.

 

Or ni la France ni l'Europe ne dispose de règles précises dans ce cas. Anne Bouverot estime par ailleurs que les sanctions actuelles suffisent. "De toute façon, au-delà des sanctions civiles ou pénales, une entreprise s'intéresse surtout à sa réputation", note-t-elle. En cas de discrimination à l'embauche, une entreprise peut être condamnée à une amende de 225 000 euros maximum. Serait-ce suffisamment pour empêcher Amazon d'utiliser des algorithmes discriminatoires ? Le géant de l'e-commerce a enregistré un chiffre d'affaires d'environ 280 milliards de dollars en 2019. 

 

Pas de contrôle étatique

Mais le groupe de travail ne s'oppose pas à tout contrôle, à condition que l'État soit évincé du processus. Il recommande de tester les algorithmes avant leur utilisation en s'inspirant des études cliniques des médicaments. "Avant de mettre de nouvelles molécules sur le marché, on vérifie que le médicament a un effet positif sur la maladie à traiter et on vérifie qu'il n'a pas d'effet secondaire. Pour les algorithmes, on veut faire pareil", précise Anne Bouverot.

 

Le rapport indique que ce contrôle doit être réalisé "autant que possible par les entités déployant les algorithmes, qu'elles soient privées ou publiques" car elles seraient les mieux placées pour les effectuer. "Beaucoup préconisent l'émergence d'une agence de l'Etat pour remplir cette mission. Je ne pense que ce soit forcément une bonne idée car ils sont déjà très occupés", estime-t-elle. A savoir qu'en France comme aux Etats-Unis, ce n'est pas le laboratoire pharmaceutique qui teste seul sa nouvelle molécule. C'est une autorité publique, l'Agence nationale de sécurité du médicament et des produits de santé (ANSM) en France et la Food and Drugs Administration (FDA) aux US, qui remplit cette fonction pour éviter les conflits d'intérêt.

 

Création de labels volontaires

En outre, le groupe de travail propose la création de labels pour "renforcer la confiance du citoyen dans les usages critiques" et "accélérer la diffusion des algorithmes bénéfiques". Le label est censé vérifier la qualité des données et la présence d'un processus d'évaluation des risques de biais au sein de l'entreprise. Le rapport prend l'exemple du label "Fair Data Use" qui se présente comme le premier label de "l'IA équitable". Il s'obtient à l'issue d'un audit pour garantir l'absence de discrimination, le respect du Règlement général sur la protection des données et des règles sur la responsabilité sociétale de l'entreprise (RSE). Dans son Livre blanc, la Commission européenne envisage une procédure similaire, mais seulement pour les IA à faible impact.

 

* Méthodologie : une vingtaine de personnes sont à l'origine des discussions dont les conclusions ont été compilées dans ce rapport. Le groupe de travail regroupe des personnes provenant d'organismes publics ou privés comme Uber, IBM France, le Conseil National de l'Ordre des médecins, Télécom Paris, Science Po, Airbus… Il a auditionné une trentaine de personnes qui viennent de Criteo AI Lab, Google, la Commission nationale de l'informatique et des libertés, AXA, CNRS, l'Ecole normale supérieure ou Allianz.

Réagir

* Les commentaires postés sur L’Usine Digitale font l’objet d’une modération par l’équipe éditoriale.

 
media