Actualité web & High tech sur Usine Digitale

Recevez chaque jour toute l'actualité du numérique

x

Après le krach de 2008, les algorithmes nous conduisent-ils à nouveau au bord du gouffre ?

Une mathématicienne passée par la finance et le big data s'inquiète des conséquences économiques et sociales du big data appliqué à la vie sociale.  Des algorithmes pris pour paroles d'évangile alors qu'ils devraient être l'objet de critiques menacent.  Pour l'auteur, il est urgent d'interroger ce que font les algorithmes et ceux qui les produisent. Sinon les mêmes causes produisant les mêmes effets, les algorithmes tout-puissants pourraient causer de nouvelles catastrophes.
Twitter Facebook Linkedin Flipboard Email
×

Après le krach de 2008, les algorithmes nous conduisent-ils à nouveau au bord du gouffre ?
.

Le titre de l’essai de Cathy O’Neil est génial avec son jeu de mots difficile à traduire. "Weapons of math Destruction" (*) signifie littéralement les armes de destruction mathématiques. Sauf qu’en anglais, "maths" se pronnonce "mass" et qu’elle signifie de cette façon les dangers que font courir les algorithmes omniprésents à nos sociétés et à nos économies. A cet égard, le sous-titre de l’ouvrage est éclairant : "comment le big data accroît les inégalités et menace la démocratie".


Une critique qui connaît son sujet

L’auteur n’est pas n’importe qui. Militante du mouvement Occupy Wall Street, Cathy O’Neil est diplômée de haut niveau en mathématiques, matière qu’elle a enseignée au MIT. Elle a ensuite quitté le monde universitaire pour travailler dans l’industrie de la finance, puis dans le big data. C’est là que son témoignage et son analyse prennent de la valeur. Elle connaît trop bien les mathématiques pour les accuser. Ce qu’elle met en cause, c’est notre attitude par rapport aux algorithmes, notre tendance à considérer comme vrais les résultats de ces calculs sophistiqués. Or, un algorithme, c’est aussi un ensemble d’hypothèses mathématiques, qui peuvent très vite devenir des préjugés dans la vraie vie.

 

L’exemple qu’elle donne dans un podcast est éclairant à un moment où tout le monde n’a plus que le mot prédictif dans le recrutement. Une entreprise qui cherche à recruter un ingénieur va mobiliser les données qu’elle possède dans son historique pour trouver les variables désignant un bon ingénieur. A partir de ces variables, elle va chercher des personnes qui ont ce profil. Sauf que si l’entreprise n’a jamais recruté une femme ingénieur, l’algorithme dira qu’un bon ingénieur est un homme. Et, conclut-elle, en substance : "L’algorithme aura raison", il aura fait ce qu’on lui a demandé et l’aura bien fait.

 

Algorithme sans conscience 

Cet exemple, peut-être caricatural, pointe un des risques du big data mis à toutes les sauces et entre toutes les mains : on finit par trouver ce qu’on cherche si on n’a pas conscience des biais pré-existants. "Le problème, c’est que quand les gens font une confiance aveugle aux choses et les appliquent aveuglément, ils ne réfléchissent pas aux causes et aux effets", résume Cathy O’Neil. Ou pour le dire autrement, arrêtons de considérer les résultats du recrutement prédictif comme une vérité scientifique incontestable…

 

La question est d’autant plus sensible que nombre de personnes ignorent que des algorithmes sont "responsables" de ce qui leur arrivent. L’auteur cite l’exemple de personnes auxquelles on refuserait un emploi en raison de leur mauvaise note de crédit. Résultat : elle aura du mal à trouver un travail sans savoir pourquoi car qui sait le lien entre les deux ?

 

LES PAUVRES,  CIBLE PRIVILÉGIÉE DE L'ARME DE DESTRUCTION "MATHIVE"

Là où le problème prend une dimension quasi politique et concerne le bon fonctionnement de la démocratie, c’est qu’il est très difficile, voire impossible, de mettre en cause les résultats d’une décision d’un algorithme. Les algorithmes sont opaques et insaisissables. Il n’y a qu’un pas pour que leurs décisions deviennent inattaquables. Quand il s’agit de faire payer plus cher une assurance indûment, le préjudice est désagréable mais supportable. Mais quand l’algorithme commence à se mêler de quartiers où doivent patrouiller en priorité les policiers ou de la politique de remise de peine en fonction des statistiques de récidive, la question devient autrement plus épineuse et sensible.

 

D’autant que certaines pratiques sont quasi invisibles. En faisant de plus en plus du sur-mesure, les algorithmes (il faudrait écrire ceux qui écrivent les algorithmes) isolent des publics tant et si bien que ce qui arrive à des publics défavorisés n’est pas porté à la connaissance des autres. Pour l’auteur, l’action de certains algorithmes est invisible à ceux qui ont le pouvoir et l’argent. Elle cite des entreprises prédatrices qui ciblent les plus pauvres pour les soumettre à des publicités pour des crédits à des taux ou des conditions délirantes. Les publicités sont ciblées (par les armes de destruction de maths !).

 

BIG DATA ET WALL STREET, MÊME COMBAT ?

Dans cette description déjà peu réjouissante, l’auteur porte le coup de grâce en rapprochant le monde du big data new-yorkais de celui de la finance. Pour elle, on y trouve les mêmes personnalités brillantes, ayant fait les meilleures écoles et persuadées que le monde leur appartient. "Dans ses deux industries, le monde réel avec tous ses désordres, est tenu à l’écart… De plus en plus, je m’inquiète de l’écart entre les modèles et les vrais gens, et plus encore sur les répercussions morales de cette séparation. Je vois le même modèle émerger que celui dont j’ai été témoin dans la finance : un sentiment de sécurité erroné qui conduit à des usages répandus de modèles imparfaits, entretenant une définition du succès, et produisant des boucles de feedbacks. Ceux qui critiquent sont regardés comme des ludistes nostalgiques".
 

Refusant de céder au pessimisme, la militante de Occupy Wall street propose des solutions comme une sorte de serment d’Hippocrate prêté par les data-scientists et de mettre des garde-fous afin de réguler les modèles mathématiques. "La technologie existe, nous manquons de volonté", écrit Cathy O’Neil. Faire du big data un outil juste dépendra de nos actions.

 

Que l'on partage ou non son analyse, ce livre mérite de poser un débat essentiel avant qu'il ne soit trop tard. 

 

(*) Weapons of Maths destruction, par  Cathy O'Neil (éditeur Crown) 

 

 A lire aussi 

Réagir

* Les commentaires postés sur L’Usine Digitale font l’objet d’une modération par l’équipe éditoriale.

 
media
Suivez-nous Suivre l'Usine Digitale sur twitter Suivre l'Usine Digitale sur facebook Suivre l'Usine Digitale sur Linked In RSS Usine Digitale