Actualité web & High tech sur Usine Digitale

Recevez chaque jour toute l'actualité du numérique

x

[MWC 2019] Avec Natural Interaction, BMW combine voix, regard et gestes pour interagir avec sa voiture

Vidéo A l’occasion du Mobile World Congress 2019, qui se tient à Barcelone du 25 au 28 février 2019, BMW a présenté BMW Natural Interaction, sa nouvelle solution d’assistant personnel combinant reconnaissance vocale, suivi des yeux et contrôle gestuel. Cette technologie équipera de série le SUV Vision i-Next dont le lancement est prévu en 2021. Explications avec Stefan Schubert, en charge de l’intégration de la solution chez BMW.
mis à jour le 27 février 2019 à 09H46
Twitter Facebook Linkedin Flipboard Email
×

Avec Natural Interaction, BMW combine voix, regard et gestes pour interagir avec sa voiture. Voici comment !
[MWC 2019] Avec Natural Interaction, BMW combine voix, regard et gestes pour interagir avec sa voiture © BMW

"Les voitures sont aujourd’hui prêtes à autre chose que d’aller d’un point A à un point B. Notre vision est une voiture intelligente qui devient beaucoup plus naturelle, une voiture qui est connectée, intuitive, prédictive, fiable, sans émission et autonome", a déclaré Christoph Grote, Senior Vice President BMW Group Electronics, le 25 février 2019 à Barcelone, à l’occasion du Mobile World Congress. Pour cela, BMW continue d'innover : "On ne veut pas être dirigé par la technologie mais on veut diriger la technologie", insiste Christoph Grote.

 

Au cœur de cette stratégie : l’interaction avec le conducteur, la voiture et son environnement. BMW profite ainsi du MWC pour annoncer le lancement de la solution BMW Natural Interaction. Ce nouveau système multimodal combine trois technologies déjà développées par le constructeur automobile : la commande vocale, le contrôle gestuel étendu et la reconnaissance du regard.


Intégrée à l’assistant personnel de BMW, cette solution vise à enrichir l’expérience à bord. Le premier à en bénéficier sera le SUV Vision i-Next dont le lancement est prévu en 2021.

 

Interaction "naturelle" avec l'intérieur et l'extérieur du véhicule

 

 

"On veut pouvoir utiliser BMW Natural Interaction à l’intérieur comme à l’extérieur de la voiture, explique à L’Usine Digitale Stefan Schubert, en charge de l’intégration de la solution chez BMW. A l’intérieur, par exemple, si c'est une nouvelle voiture et que vous souhaitez savoir à quoi sert un bouton particulier sans en connaître le nom, il suffit de le pointer du doigt et de demander les informations à voix haute. Dans ce cas, l’assistant personnel va vous donner toutes les informations, comment vous pouvez l’utiliser… Pour nous, c’est notamment un très bon cas d’usage pour le "'car sharing'". Autres possibilités à l’intérieur du véhicule : le réglage automatique des sièges ou de la température, la sélection de sa musique, l’ouverture de la vitre…


"A l’extérieur du véhicule, l’intérêt est de pouvoir obtenir des informations sur ce que vous voyez autour de vous", poursuit Stefan Schubert. Cette solution permettra ainsi au conducteur de demander à l’assistant personnel de lui indiquer le nom et autres informations d’un bâtiment, d’un restaurant, d’un hôtel… simplement en le pointant du doigt ou en le regardant. Et même de réserver une table, une chambre ou une place de cinéma. Très utile également, en pointant un parking du doigt, il sera possible de demander si des places sont libres ou non.


Une solution nourrie à l’IA combinant trois types de capteurs

 

 

Pour activer la commande, le conducteur devra combiner au moins deux types d’interactions : la voix et le regard, ou  la voix et le geste – la commande vocale étant obligatoire. Ceci dans un souci de précision et de sécurité. Pour cela, la solution BMW Natural Interaction repose sur trois types de capteurs installés au sein du cockpit : le microphone qui reconnait la parole, son contenu, sa vitesse et sa sémantique ; le système caméra du conducteur, soit un petit capteur vidéo (mono-caméra) placé derrière le volant qui permet de suivre le regard et l’orientation de la tête ; et un capteur vidéo ToF (Time of flight, ou "Temps de vol" en français) situé au niveau du rétroviseur intérieur qui permet de mesurer en temps réel une scène en 3D et de reconnaître les gestes.


"Pour tout ce qui concerne la commande vocale, nous avons travaillé de manière rapprochée avec Nuance. Ils travaillent actuellement sur un algorithme de deep learning pour la compréhension de la langue. En revanche, la manière dont cela fonctionne et dont c’est intégré à notre solution, cela a été développé par BMW. Et nous travaillons aussi sur un notre propre algorithme", nous confie Stefan Schubert.


Construire une communauté de partenaires

Quant à la collecte des données de l'environnement du véhicule, BMW s’appuie sur plusieurs solutions. "Nous utilisons la cartographie de Here pour la géolocalisation du bâtiment. Mais si nous voulons savoir si une table est disponible dans tel restaurant à 20h, par exemple, nous avons besoin d’informations supplémentaires de la part d’autres fournisseurs de contenu", indique Stefan Schubert.


Qu’il s’agisse de la localisation des stations de chargement, des horaires de restaurant, de cinéma, de la disponibilité des parkings pour ne citer que ces exemples, BMW va donc devoir s’entourer d'une multitude de partenaires : "Nous allons devoir construire une grande communauté de fournisseurs de contenu pour avoir toutes ces informations", précise Stefan Schubert. A ce jour, ces partenariats ne sont pas encore finalisés pour 2021, mais BMW assure travailler sur le sujet, pays par pays.


Un projet développé en mode agile... encore en phase de perfectionnement

Le projet BMW Natural Interaction a démarré il y a trois ans. Pour développer ce projet, Stefan Schubert nous indique que la marque a travaillé en méthode agile, "mais de manière spécifique". "Certains travaillent sur des processus Scrum, d’autres sur des process combinés, et d’autres sur des modèles développés depuis 20 ans par BMW. C’est un gros mix", nous détaille-t-il. Un mélange de process mais aussi de profils, avec des experts en machine learning, en exploitation de la data… A noter que BMW s’est également entouré de start-up, notamment via le Start-up Garage, sur des sujets tels que la gestion de la fusion des données, des aspects émotionnels…  
 

Construire l’infrastructure sera l’étape des prochains mois. "Il y a un mois, nous avons construit un premier réseau neuronal convolutif. La prochaine étape va être de choisir l’architecture correcte pour notre algorithme de machine learning", commente Stefan Schubert. "Et de l’autre côté, nous avons besoin de nous connecter à tous les cas d’usage à l’extérieur de la voiture. Pour cela, nous travaillons de manière rapprochée avec le département américain dédié aux services digitaux du groupe", nous explique-t-il.

 

A termes, BMW compte développer la solution dans tous ses véhicules, et pas simplement dans ses voitures automatiques. Prochains challenges, donc : enrichir les simples cartes digitales et… signer des partenariats, clé du succès de cette solution en termes d’expérience utilisateur !

Réagir

* Les commentaires postés sur L’Usine Digitale font l’objet d’une modération par l’équipe éditoriale.

 
media
Suivez-nous Suivre l'Usine Digitale sur twitter Suivre l'Usine Digitale sur facebook Suivre l'Usine Digitale sur Linked In RSS Usine Digitale