Comment McAfee a trompé le système de conduite autonome d'une Tesla pour dépasser la vitesse autorisée

Des chercheurs du laboratoire "Advanced Threat Research" (ATR) de la société américaine McAfee ont réussi à faire accélérer jusqu'à 85 mph (136 km/h) deux modèles de Tesla (Model X et Model S) alors que la limitation de vitesse était de 35 mph (environ 56 km/h) grâce à une attaque ciblée. L'équipe a publié les détails de cette expérience le 19 février 2020, après 18 mois de travaux.

"Nous avons fait une attaque sur l'algorithme qui permet de détecter et de classifier les panneaux de signalisation présents sur la route", résume Thomas Roccia, chercheur au sein du laboratoire ATR, contacté par L'Usine Digitale. Les voitures autonomes embarquent des capteurs qui leur permettent de récupérer des données sur leur environnement. Le système ciblé est le MobilEye EyeQ3, qui équipe plus de 40 millions de véhicules dans le monde, dont les modèles de Tesla équipés du "Hardware Pack 1" (commercialisés avant 2017).

Le système utilise des caméras situées à l'avant du véhicule pour lire les panneaux de signalisation et adapter la conduite. Les chercheurs ont voulu savoir s'il était possible de "tromper" la classification réalisée par l'algorithme lorsqu'il détecte des panneaux de signalisation sur la route. "C'est ce que l'on appelle du 'model hacking', c'est-à-dire que l'on 'empoisonne' les données envoyées au modèle", indique Thomas Roccia.

Une classification erronée

Pour y parvenir, les chercheurs ont modifié l'aspect physique du panneau de limitation de vitesse en allongeant d'environ cinq centimètres la barre du milieu du "3" grâce à un autocollant noir. "Pour l'œil humain, cette modification est presque imperceptible, mais l'algorithme a vu un '8' et a donc dépassé la vitesse maximale", raconte Thomas Roccia. Les chercheurs ont effectué cette attaque en "boîte noire" c'est-à-dire qu'ils ne connaissaient ni l'algorithme ni les données qui avaient été utilisées pour entraîner le modèle.

Cette idée de modifier l'apparence d'une image pour tromper un algorithme n'est pas nouvelle, mais McAfee a voulu l'appliquer à une situation réelle qui implique des objets du quotidien. "Il y a déjà eu de nombreuses recherches dans ce domaine notamment avec des images d'animaux, précise Thomas Roccia. Les scientifiques ont étudié les "features" c'est-à-dire les éléments qui sont repris de l'image pour être classifiés par l'algorithme. Ils savaient exactement quels éléments étaient pris en compte par le modèle et les ont modifié pour l'empoisonner." Par exemple, des chercheurs ont modifié quelques pixels d'un cliché de pingouin invisible à l'œil nu et l'algorithme a classé l'animal comme un ordinateur de bureau ou une poêle à frire.

Mais alors comment faire pour lutter contre ces attaques ? "Plusieurs méthodes existent", indique Thomas Roccia. L'une d'entre elles consistent à ajouter du "bruit" pour empêcher le modèle de détecter de nouveaux features qui perturberaient sa méthode de classification.

Aider les entreprises à réduire les vulnérabilités

Les résultats de l'expérience ont été transmis à la société californienne Tesla et au fabricant de la caméra, l'israélien Mobileye. "Notre but est de travailler avec les entreprises quand nous découvrons des failles pour les aider à les résoudre", déclare Thomas Roccia. A noter que ces technologies évoluent rapidement et que Mobileye travaille actuellement sur des systèmes beaucoup plus évolués. McAfee note qu'un véhicule récent équipé d'un système Mobileye n'a pas été trompé par cette même technique. Quant à Tesla, ses nouveaux modèles utilisent une autre technologie et ne s'appuient plus actuellement sur la lecture automatique de panneaux.

Cette expérience questionne également d'un point de vue juridique. Le cadre normatif sur les voitures autonomes est encore très flou et ces attaques ciblées pourraient considérablement compliquer la recherche d'un auteur en cas d'accident impliquant un véhicule autonome. Pour tenter de régler ces questions, début décembre 2019, la France s'est dotée d'un comité d'éthique sur le numérique qui doit notamment se pencher sur la question des voitures autonomes à propos "des responsabilités partagées entre constructeur, assureur et utilisateur".

Sélectionné pour vous

Stability AI va utiliser un nouveau supercalculateur européen doté de 4000 accélérateurs Intel Gaudi 2

La start-up Kaedim employait des humains pour faire le travail de son modèle d'intelligence artificielle

Le langage de programmation Python débarque en test dans Microsoft Excel