L'étude de Google DeepMind sur son IA médicale est pointée du doigt pour son manque de rigueur

Au travers d'une étude publiée dans la revue scientifique Nature le 31 juillet 2019, la start-up DeepMind affirmait avoir développé une technique d'intelligence artificielle capable de détecter les insuffisances rénales aiguës 48 heures avant qu'elles ne se manifestent. Après enquête, il semblerait que la filiale de Google se soit quelque peu avancée... et que ses recherches comportent des biais majeurs. Explications.

Partager
L'étude de Google DeepMind sur son IA médicale est pointée du doigt pour son manque de rigueur

La semaine dernière, la start-up britannique DeepMind (filiale du groupe Alphabet) annonçait en fanfare avoir développé une nouvelle technique d’intelligence artificielle à même de détecter les insuffisances rénales aiguës jusqu’à 48 heures avant qu’elles ne se manifestent. A l’instar de nombreux autres médias, L’Usine Digitale avait relayé la nouvelle. Mais voilà : après enquête, il semblerait que la méthode employée par la petite sœur de Google dans le cadre de son étude, publiée dans la – très respectée – revue scientifique Nature, comporte des biais... et que son système ne soit donc pas si prometteur qu'annoncé.

DES DONNéES PEU REPRéSENTATIVES

Comme le note Julia Powles, professeure associée de droit des technologies à l’université d’Australie-Occidentale, sur le site Medium, "aucune prédiction n’a, dans les faits, été réalisée". DeepMind aurait simplement pioché dans une base de données répertoriant les problèmes de reins de vétérans de l'armée américaine, puis recoupé ces derniers avec quelque 9 000 critères pour chacun d’entre eux. Cette technique lui a permis de faire émerger de larges tendances dans cette population donnée. Une tendance qui, d’ailleurs, ne fonctionnerait pas à coup sûr. L’étude n’affiche qu’une précision de 55,8%, et qui est moindre encore lorsque l’on essaie de prédire la survenue de la maladie bien à l’avance. Résultat : le système générerait en moyenne deux faux résultats positifs pour un avéré.

La population concernée par cette recherche est, qui plus est, presque exclusivement composée d’hommes (93,6 %). Une donnée à forcément prendre en considération lorsqu’on connaît l’importance de la quantité et de la diversité des échantillons dans le développement d’un modèle de prédiction basé sur l'apprentissage automatique. "La base de données [utilisée dans l’étude] est représentative des vétérans américains et, comme pour tout modèle d’apprentissage, elle aura besoin d’être alimentée avec des données plus poussées avant de pouvoir être appliquée à un plus large public", a d’ailleurs relativisé auprès de Julia Powles un porte-parole de DeepMind.

UNE ANALYSE BANCALE DE LA PART DE DEEPMIND

Certains chiffres avancés par la firme pour remettre son étude dans le contexte de la pathologie posent eux aussi question. En introduction, DeepMind évoque le fait que "20 % des hospitalisations sont liées à des problèmes de reins aux Etats-Unis". Un chiffre qui, s’il n’est pas faux, est plus élevé que dans la population étudiée – ce taux n’excède pas 13,4% chez les vétérans américains. Cette différence révèle implicitement que ces derniers pourraient, dans les faits, être mieux pris en charge par leurs médecins. Or, l’étude ne fait aucunement mention de la manière dont été suivis les patients en amont.

Plus étonnant encore, les chercheurs derrière l’étude de DeepMind ne détaillent pas précisément leur modèle d'apprentissage. "Comment fonctionne-t-il ? Pourquoi ont-ils décidé de le bâtir de cette façon et pas d’une autre ?", s’interroge ainsi Julia Powles, à laquelle la filiale d'Alphabet a fait part de son intention d’apporter des précisions supplémentaires sur la méthodologie de l'étude avant de la soumettre à une évaluation par les pairs (peer review). C’est après avoir connu des déboires en matière de recueil de données, courant 2016, que l’entreprise a officiellement été intégrée à la division santé de la firme de Mountain View, fin 2018. Une mesure coercitive pour la faire rentrer dans le rang ?

SUR LE MÊME SUJET

Sujets associés

NEWSLETTER L'Usine Digitale

Nos journalistes sélectionnent pour vous les articles essentiels de votre secteur.

Votre demande d’inscription a bien été prise en compte.

Votre email est traité par notre titre de presse qui selon le titre appartient, à une des sociétés suivantes...

Votre email est traité par notre titre de presse qui selon le titre appartient, à une des sociétés suivantes du : Groupe Moniteur Nanterre B 403 080 823, IPD Nanterre 490 727 633, Groupe Industrie Service Info (GISI) Nanterre 442 233 417. Cette société ou toutes sociétés du Groupe Infopro Digital pourront l'utiliser afin de vous proposer pour leur compte ou celui de leurs clients, des produits et/ou services utiles à vos activités professionnelles. Pour exercer vos droits, vous y opposer ou pour en savoir plus : Charte des données personnelles.

ARTICLES LES PLUS LUS