La non-discrimination doit être au cœur de l'encadrement de l'IA, d'après la Défenseure des droits

La Défenseure des droits et le réseau européen d'organismes de promotion de l'égalité préconisent de placer le principe de non-discrimination au coeur de la réglementation de l'IA. Ils publient une série de recommandations adressée aux institutions européennes, parmi lesquelles la mise en place d'un recours dédiée aux personnes victimes de discrimination, une définition différente de la notion de préjudice...

Partager
La non-discrimination doit être au cœur de l'encadrement de l'IA, d'après la Défenseure des droits

La Défenseure des droits, une autorité administrative indépendante chargée de veiller au respect des droits des citoyens par les organismes publics, a publié un avis ce 22 juin pour rappeler l'importance de placer le principe de non-discrimination au cœur du futur règlement européen sur l'intelligence artificielle. Les recommandations ont été co-rédigées avec Equinet (European Network of Equality Bodies), le réseau européen d'organismes de promotion de l'égalité.

Des données biaisées

Dès leur conception ou durant leur développement, les systèmes d'apprentissage automatique peuvent être biaisés. En effet, une technologie n'est jamais neutre et, contrairement aux fantasmes de certains, les algorithmes sont développés par des humains et donc à partir de données reflétant des pratiques humaines. L'un des biais les plus fréquents est le manque de représentativité des données mobilisées.

Les biais peuvent également provenir de la traduction mathématique de pratiques discriminatoires historiques. C'est particulièrement visible dans les processus de recrutement, note la Défenseure des droits. Des biais sexistes ont ainsi été repérés dans plusieurs algorithmes utilisés pour trier les CV : ils tendaient à écarter systématiquement les candidatures des femmes. L'avis ajoute que ces dérives ont pu être observées dans d’autres secteurs. Par exemple, dans le cadre de la lutte contre la fraude aux prestations sociales, des algorithmes ont ainsi conduit à concentrer les contrôles sur certaines personnes en raison de leur lieu de résidence et de leur situation de famille.

Un recours dédié aux cas de discrimination

Face à ces constats, l'avis propose plusieurs recommandations adressées aux institutions européennes qui examinent actuellement le futur texte. Il préconise d'introduire "des mécanismes de plainte et de recours accessibles et efficaces" pour les personnes concernées en cas de violation des principes d'égalité et de non-discrimination lorsqu'une telle violation résulte de l'utilisation d'un algorithme. L'idée est intéressante mais elle peut être difficilement applicable car les requérants devront prouver que l'inégalité de traitement a été engendrée par le système d'apprentissage automatique.

L'avis propose également de modifier l'approche fondée sur les risques. Le texte dans sa version actuelle prévoit que plus un système est à "haut risque" plus les obligations à respecter sont fortes. Or, cette classification est "basée exclusivement sur la législation existante en matière de sécurité des produits" et donc "ne reflète pas la nature unique du préjudice qui résulte des violations des droits fondamentaux". De plus, la notion de "préjudice" devrait être fondée sur une compréhension plus globale et plus inclusive de la notion, c'est-à-dire qui tienne compte de "la nature immatérielle, sociétale et collective du préjudice".

Une coopération entre autorités, chercheurs et secteur privé

L'avis veut également obliger les autorités de surveillance nationales à consulter les organismes de promotion de l'égalité ainsi que les autres institutions compétentes en matière de droits fondamentaux. Plus généralement, il alerte sur les risques de fonctionnement en vase clos alors que l'utilisation de l'IA est "intersectorielle". Les autorités de protection des données, de protection des consommateurs, les acteurs du secteur privé, du monde universitaire et des organisations non gouvernementales (ONG) devraient être associés aux décisions.

SUR LE MÊME SUJET

Sujets associés

NEWSLETTER L'Usine Digitale

Nos journalistes sélectionnent pour vous les articles essentiels de votre secteur.

Votre demande d’inscription a bien été prise en compte.

Votre email est traité par notre titre de presse qui selon le titre appartient, à une des sociétés suivantes...

Votre email est traité par notre titre de presse qui selon le titre appartient, à une des sociétés suivantes du : Groupe Moniteur Nanterre B 403 080 823, IPD Nanterre 490 727 633, Groupe Industrie Service Info (GISI) Nanterre 442 233 417. Cette société ou toutes sociétés du Groupe Infopro Digital pourront l'utiliser afin de vous proposer pour leur compte ou celui de leurs clients, des produits et/ou services utiles à vos activités professionnelles. Pour exercer vos droits, vous y opposer ou pour en savoir plus : Charte des données personnelles.

ARTICLES LES PLUS LUS