Recevez chaque jour toute l'actualité du numérique

x

L'étude de Google DeepMind sur son IA médicale est pointée du doigt pour son manque de rigueur

Vu ailleurs Au travers d'une étude publiée dans la revue scientifique Nature le 31 juillet 2019, la start-up DeepMind affirmait avoir développé une technique d'intelligence artificielle capable de détecter les insuffisances rénales aiguës 48 heures avant qu'elles ne se manifestent. Après enquête, il semblerait que la filiale de Google se soit quelque peu avancée... et que ses recherches comportent des biais majeurs. Explications.
Twitter Facebook Linkedin Flipboard Email
×

L'étude de Google DeepMind sur son IA médicale est pointée du doigt pour son manque de rigueur
L'étude de Google DeepMind sur son IA médicale est pointée du doigt pour son manque de rigueur © DeepMind

La semaine dernière, la start-up britannique DeepMind (filiale du groupe Alphabet) annonçait en fanfare avoir développé une nouvelle technique d’intelligence artificielle à même de détecter les insuffisances rénales aiguës jusqu’à 48 heures avant qu’elles ne se manifestent. A l’instar de nombreux autres médias, L’Usine Digitale avait relayé la nouvelle. Mais voilà : après enquête, il semblerait que la méthode employée par la petite sœur de Google dans le cadre de son étude, publiée dans la – très respectée – revue scientifique Nature, comporte des biais... et que son système ne soit donc pas si prometteur qu'annoncé.

 

DES DONNéES PEU REPRéSENTATIVES

Comme le note Julia Powles, professeure associée de droit des technologies à l’université d’Australie-Occidentale, sur le site Medium, "aucune prédiction n’a, dans les faits, été réalisée". DeepMind aurait simplement pioché dans une base de données répertoriant les problèmes de reins de vétérans de l'armée américaine, puis recoupé ces derniers avec quelque 9 000 critères pour chacun d’entre eux. Cette technique lui a permis de faire émerger de larges tendances dans cette population donnée. Une tendance qui, d’ailleurs, ne fonctionnerait pas à coup sûr. L’étude n’affiche qu’une précision de 55,8%, et qui est moindre encore lorsque l’on essaie de prédire la survenue de la maladie bien à l’avance. Résultat : le système générerait en moyenne deux faux résultats positifs pour un avéré.

 

La population concernée par cette recherche est, qui plus est, presque exclusivement composée d’hommes (93,6 %). Une donnée à forcément prendre en considération lorsqu’on connaît l’importance de la quantité et de la diversité des échantillons dans le développement d’un modèle de prédiction basé sur l'apprentissage automatique. "La base de données [utilisée dans l’étude] est représentative des vétérans américains et, comme pour tout modèle d’apprentissage, elle aura besoin d’être alimentée avec des données plus poussées avant de pouvoir être appliquée à un plus large public", a d’ailleurs relativisé auprès de Julia Powles un porte-parole de DeepMind.

 

UNE ANALYSE BANCALE DE LA PART DE DEEPMIND

Certains chiffres avancés par la firme pour remettre son étude dans le contexte de la pathologie posent eux aussi question. En introduction, DeepMind évoque le fait que "20 % des hospitalisations sont liées à des problèmes de reins aux Etats-Unis". Un chiffre qui, s’il n’est pas faux, est plus élevé que dans la population étudiée – ce taux n’excède pas 13,4% chez les vétérans américains. Cette différence révèle implicitement que ces derniers pourraient, dans les faits, être mieux pris en charge par leurs médecins. Or, l’étude ne fait aucunement mention de la manière dont été suivis les patients en amont.

 

Plus étonnant encore, les chercheurs derrière l’étude de DeepMind ne détaillent pas précisément leur modèle d'apprentissage. "Comment fonctionne-t-il ? Pourquoi ont-ils décidé de le bâtir de cette façon et pas d’une autre ?", s’interroge ainsi Julia Powles, à laquelle la filiale d'Alphabet a fait part de son intention d’apporter des précisions supplémentaires sur la méthodologie de l'étude avant de la soumettre à une évaluation par les pairs (peer review). C’est après avoir connu des déboires en matière de recueil de données, courant 2016, que l’entreprise a officiellement été intégrée à la division santé de la firme de Mountain View, fin 2018. Une mesure coercitive pour la faire rentrer dans le rang ?

Réagir

* Les commentaires postés sur L’Usine Digitale font l’objet d’une modération par l’équipe éditoriale.

2 commentaires

Jean Némarre
09/08/2019 15h27 - Jean Némarre

C'est bien, les informaticiens commencent à apprendre ce qu'est une étude scientifique. ça va être long et douloureux. Ce serait bien que les médias (tech mais pas que) ne se contentent pas de relayer les communiqués de presse des GAFAM en les prenant pour argent comptant. ça fait des ravages auprès des décideurs qui ne pannent pas grand chose non plus à la recherche scientifique... mais qui prennent des décisions en fonction des infos qu'ils reçoivent. La conséquence c'est que ça flingue les budgets des scientifiques honnêtes.

Répondre au commentaire | Signaler un abus

Gréory MAUBON
09/08/2019 08h41 - Gréory MAUBON

Je crois que ce ne sont pas les premiers résultats médicales miraculeux qui se dégonflent après vérification. Watson d'IBM a connu le même retour sur Terre sur la prévision des cancers. Cela montre aussi que, au-delà de la technologie, il y a des gens qui programment et qui font des choix derrière. Choix pouvant être plus au bénéfice de leur carrière que des patients :) Par ailleurs ça nous laisse encore un gros travail de récolte de données pour éviter au maximum les biais dans les analyses. Ce sera peut être moins simple qu'on aurait pu le croire.

Répondre au commentaire | Signaler un abus

 
media