Recevez chaque jour toute l'actualité du numérique

x

Google pointé du doigt pour les dérives de son système de détection de contenus pédocriminels

Vu ailleurs Comme d'autres grandes entreprises technologiques, Google a mis en place un système de détection automatique de pornographie infantile pour ses services. Mais la gestion par l'entreprise de faux positifs est aujourd'hui remise en cause dans un article du New York Times. Elle pose plus généralement la question de l'absence de recours face à ces systèmes complètement automatisés.
Twitter Facebook Linkedin Flipboard Email
×

Google pointé du doigt pour les dérives de son système de détection de contenus pédocriminels
Google pointé du doigt pour les dérives de son système de détection de contenus pédocriminels © Alex Ware/Unsplash

La détection d'images et vidéos présentant des actes pédocriminels est une noble tâche à laquelle participent les grandes entreprises technologiques depuis plus de dix ans. Cependant de nouvelles techniques de détection automatisées s'avèrent plus intrusives pour les utilisateurs, et créent un vrai risque de faux positif.

Un article du New York Times daté du 21 août rapporte deux anecdotes de ce type dans lesquelles un père envoie une photo des parties génitales de son jeune enfant à son pédiatre pour obtenir un diagnostic sur une infection. En pleine pandémie de Covid-19, la consultation s'était faite à distance. Les photos, prises avec un téléphone Android, sont ensuite automatiquement sauvegardées sur Google Drive, le service de stockage cloud de l'entreprise. Lors de cette action, les fichiers sont analysés et Google détecte un contenu illégal. Le compte utilisateur est alors bloqué et l'information transmise à la police.
 

Innocenté par la police, banni par Google

Dans les deux cas, après enquête, les forces de l'ordre ont conclu qu'aucun acte criminel n'a eu lieu et ont clôturé le dossier. Mais Google n'a pas rétabli les comptes, même après avoir été contacté. Par manque de chance, et comme beaucoup de monde, ils s'appuyaient beaucoup sur les outils Google : e-mails, calendriers, stockage de fichiers... et même l'abonnement mobile pour l'un d'entre eux, avec Google Fi. Google était une entreprise privée, elle peut fermer un compte pour quelque raison que ce soit, et ils n'ont aujourd'hui pas vraiment de recours.

Ces deux cas de figure illustrent les dérivés potentielles de l'automatisation des outils de détection de contenus illégaux. Historiquement, le système de référence a été PhotoDNA, cocréé par Microsoft et rendu public en 2009. Notamment utilisé par Facebook, il fonctionne en créant des signatures pour les fichiers à contenu pédocriminel, ces dernières étant ensuite automatiquement comparées aux fichiers des utilisateurs. Cela permet de détecter des contenus connus sans réellement "regarder" ce que font les gens.

Peu de recours face aux systèmes automatisés

Mais en 2018, Google a mis au point une nouvelle technique s'appuyant sur des techniques d'intelligence artificielle pour faire de la reconnaissance automatique par analyse visuelle. L'objectif était de pouvoir détecter de nouvelles images et pas seulement celles déjà présentes dans la base de données. L'entreprise a aussi rendu cette technologie disponible au reste de l'écosystème. Une initiative louable, mais qui comme on le voit n'est pas fiable à 100%. Pour référence, Google a émis 600 000 rapports et désactivé 270 000 comptes suite à des détections de contenus pédocriminels en 2021.

Elle soulève la question d'une modération humaine et de la possibilité de faire appel d'une décision qui relève autrement entièrement d'un système automatisé et opaque. Une problématique qui s'étend au-delà de ce domaine spécifique et va continuer de grandir à mesure que l'automatisation augmente. Elle pourrait un jour toucher la reconnaissance des passeports aux frontières, par exemple.

Des dérives potentielles pour le respect de la vie privée

Elle peut aussi interroger en matière de protection de la vie privée. Apple avait tenté de mettre au point un système de scan automatique de fichiers dans la même veine en 2021 et s'était fait sévèrement critiqué par les experts du domaine. L'un des problèmes évoqués est qu'une fois mis en place, il serait très simple de modifier les paramètres recherchés par ce type de système pour trouver d'autres fichiers. Cela permettrait par exemple à certains États non-démocratiques d'identifier plus facilement leurs opposants politiques.

Plus récemment, la Commission européenne a présenté un texte de loi visant à obliger les fournisseurs de messageries et d'hébergement à carrément installer des backdoors dans leurs services, toujours sous couvert de lutte contre la pédopornographie. Un projet encore plus controversé car il implique la lecture de tous les messages par les gouvernements. La Cnil européenne l'a d'ailleurs vertement critiqué.

La pédocriminalité, tout comme le terrorisme, est fréquemment mise en avant pour justifier la mise en place de systèmes de surveillance de la population par les gouvernements, et c'est pourquoi il convient d'être prudent pour limiter le risque de dévoiement de ces systèmes à d'autres fins.

Réagir

* Les commentaires postés sur L’Usine Digitale font l’objet d’une modération par l’équipe éditoriale.