Meta veut détecter les biais discriminants des modèles de vision par ordinateur
FACET est le dernier né de la famille open source de Meta. Cet outil entraîné sur plusieurs milliers d'images permet d'évaluer les biais présents dans la plupart des modèles de vision par ordinateur en jugeant leur impartialité.
Après avoir annoncé en avril dernier le déploiement de DINOv2, son modèle de vision par ordinateur (computer vision en anglais), Meta a étendu le 31 août la licence open source qui encadre son utilisation. Mais cet outil, qui permet d'identifier et de classifier les éléments présents dans des photos et des vidéos, se voit déjà critiqué par… la firme de Mark Zuckerberg elle-même. Sa nouvelle innovation, nommée FACET, a permis de démontrer que DINOv2 présentait des biais discriminants lorsqu'il est mis face à des images d'humains.
FACET (pour FAirness in Computer Vision EvaluaTion) sert en effet à évaluer l'impartialité des modèles de vision par ordinateur. L'outil a été entraîné sur quelque 32 000 images, sur lesquelles apparaissent un total de 50 000 individus. "Nous avons engagé des experts pour annoter manuellement les attributs démographiques liés à la personne, tels que le sexe et la tranche d'âge perçus, ainsi que les caractéristiques visuelles correspondantes, telles que le teint de la peau, le type de cheveux et les accessoires", explique Meta dans une note de blog, ajoutant que des annotations concernant les professions et les activités des personnes ont également été ajoutées.
Auto-critique
Objectif : repérer grâce à FACET si un modèle de vision par ordinateur a tendance à par exemple détecter systématiquement une infirmière plutôt qu'une médecin lorsqu'il voit une femme dans un hôpital. Les modèles d'intelligence artificielle sont en effet souvent pointés du doigt pour exacerber des discriminations de genre ou de race. Et Meta ne fait pas exception. La firme californienne a par le passé dû retirer Galactica, un modèle d'IA qui écrivait des affirmations racistes, et été critiquée par des chercheurs concernant son algorithme de ciblage publicitaire.
Cette fois, Mark Zuckerberg veut montrer patte blanche. En faisant l'auto-critique de son DINOv2, jugé "moins performant qu'OpenCLIP [un autre modèle de computer vision] en ce qui concerne la disparité entre les sexes perçus" mais "plus performant que les autres modèles en ce qui concerne le groupe d'âge perçu et le teint de la peau", Meta dit vouloir faire bouger les lignes dans l'intelligence artificielle en rendant FACET open source. "Nous encourageons les chercheurs à utiliser FACET pour évaluer l'impartialité dans d'autres tâches visuelles et multimodales", lit-on dans le communiqué de l'entreprise.
Elle se prend d'ailleurs au mot, puisqu'elle dit vouloir trouver une solution aux problèmes identifiés par FACET dans DINOv2. "Nous prévoyons d'aborder ces lacunes potentielles dans des travaux futurs et pensons que la curation basée sur l'image pourrait également contribuer à éviter la perpétuation des biais potentiels découlant de l'utilisation de moteurs de recherche ou de la supervision de textes", écrit encore Meta. De nouvelles promesses qui ne manqueront pas d'être scrutées par les spécialistes des discriminations en ligne, particulièrement critiques des modèles de computer vision.
SUR LE MÊME SUJET
Meta veut détecter les biais discriminants des modèles de vision par ordinateur
Tous les champs sont obligatoires
0Commentaire
Réagir
