Recevez chaque jour toute l'actualité du numérique

x

Qualcomm annonce le Snapdragon XR2, une puce haute performance pour les casques AR/VR

Qualcomm lance une nouvelle puce dédiée aux casques de réalité virtuelle et augmentée haut de gamme. Un jalon majeur pour l'écosystème, qui donne le ton du marché pour les prochaines années en matière de fonctionnalités et performances.
mis à jour le 06 décembre 2019 à 19H27
Twitter Facebook Linkedin Flipboard Email
×

Qualcomm annonce le Snapdragon XR2, une puce haute performance pour les casques AR/VR
Qualcomm annonce le Snapdragon XR2, une puce haute performance pour les casques AR/VR © Julien Bergounhoux

Qualcomm s'est positionné très tôt sur le marché des appareils de réalité virtuelle et augmentée (VR et AR), qu'il regroupe sous l'appellation XR pour "eXtended Reality". Au Snapdragon Tech Summit 2019, qui se termine ce 5 décembre 2019, l'entreprise donne un coup d'accélérateur avec l'annonce du Snapdragon XR2. Il s'agit comme son nom l'indique de la seconde puce de Qualcomm dédiée à ces usages immersifs, mais sa sortie est un jalon autrement plus important que celle du XR1.

 

En effet, le Snapdragon XR1, annoncé en mai 2018, était une puce d'entrée de gamme conçue pour les appareils nécessitant peu de puissance de calcul. La solution recommandée pour les appareils haut de gamme restait la dernière puce pour smartphones (Snapdragon 845). Il en est tout autre pour le XR2. Il est basé sur le Snapdragon 865, le nouveau fleuron des produits Qualcomm, mais dispose d'optimisations et de fonctionnalités supplémentaires spécifiques aux besoins de la réalité virtuelle et augmentée.

 

Un grand bond en avant par rapport aux appareils actuellement sur le marché

Les appareils de réalité virtuelle autonomes actuellement sur le marché (Oculus Quest, Vive Focus, Mirage Solo...) utilisent en grande majorité un Snapdragon 835. Le XR2 représente donc un saut de trois générations et ses performances font un énorme bond en avant par rapport au 835. Les performances de son CPU et de son GPU (Adreno 650) sont toutes les deux multipliées par deux, la bande passante vidéo est quatre fois plus élevée, le calcul des shaders est 1,5 fois plus rapide, et la résolution maximale prise en charge est six fois plus grande.

 

 

Concrètement, le XR2 peut gérer des résolutions natives de 2,5K x 2,5K par oeil avec une fréquence de rafraîchissement de 120 images par seconde, ou une résolution de 3K x 3K par oeil (2880 x 2880 pour être précis) à 90 ips. Le tout en HDR10+ pour un contraste et des couleurs hors pair. Il gère par ailleurs la lecture vidéo en résolution 8K à 60 ips, ou en 4K à 120 ips. Les calculs liés à l'intelligence artificielle, sur lesquels Qualcomm s'est concentré ces dernières années, sont onze fois plus rapides (15 TOPS, comme pour le 865).

 

suivi des yeux, reconnaissance vocale, reconstruction de l'environnement...

Cela se répercute sur de nombreux aspects des casques AR/VR, comme par exemple du côté du tracking, pour lequel plus d'options sont disponibles. Le Snapdragon 835 ne pouvait faire fonctionner que quatre caméras (et le XR1, seulement trois), mais le XR2 en gère jusqu'à sept à la fois (douze possibles au total, sept actives simultanément). De quoi combiner suivi de la position et des déplacements de l'utilisateur et suivi des mouvements des yeux, de la bouche et des mains (avec 26 points d'articulation). De plus, un processeur dédié à la vision par ordinateur a été intégré à la puce pour obtenir de meilleures performances.

 

 

Par ailleurs, qui dit suivi des mouvements des yeux dit rendu fovéal, et cette fonctionnalité est évidemment prise en compte par le XR2 (avec des gains d'au moins 25% d'après Hiren Bhinde, Head of XR Products chez Qualcomm), de même que le variable rate shading. Lors d'un entretien avec L'Usine Digitale, Hiren Bhinde a volontier reconnu qu'utiliser la pleine résolution permise par le XR2 sans rendu fovéal serait difficile. Il ajoute par ailleurs que pour tirer pleinement parti de cette technologie, tout le système doit être bâti en conséquence, ce qui n'a jamais été le cas des prototypes présentés jusqu'à présent.

 

 

Pour les expériences de réalité augmentée, des optimisations au niveau matériel permettent une latence réduite pour certains écrans nouvelle génération (Field Sequential Displays). L'utilisation du DSP pour l'AR/VR étant particulièrement complexe et différente par rapport aux smartphones, le sous-composant Hexagon est utilisé d'une autre manière et bénéficie de 4 extensions de vecteurs (HVX) et de DSPs individuels pour l'audio et les capteurs. Cela permet entre autres de contrôler l'interface de l'appareil par la voix sans drainer la batterie, grâce à une fonction d'écoute basse consommation. Une fonctionnalité de détection automatique de contexte (phrase de réveil de l'appareil, alerte en cas de bébé qui pleure...) est également présente.

 

 

Autre nouveauté : la capture et la reconstruction 3D de l'environnement en temps réel, ainsi que la possibilité de faire de la segmentation sémantique (la capacité pour l'appareil de reconnaître des éléments individuels du décor, comme un fauteuil ou un chat). Ces modes s'appuient sur une multitude de composants du XR2 (CPU, GPU, DSP, ISP) au travers de son moteur d'intelligence artificielle. Qualcomm voit dans ces capacités un catalyseur de la "vraie réalité mixte", ce par quoi il désigne l'intégration avancée de personnes réelles dans un environnement virtuel.

 

Vers des casques AR/VR connectés en 5G

Et la connectivité dans tout ça ? Ni Qualcomm, ni les fabricants n'avaient jusqu'à présent jugé nécessaire d'équiper leurs casques ou lunettes de connexions cellulaires. Il n'en est pas de même pour le Snapdragon XR2, qui est naturellement compatible 5G grâce au modem X55. Deux versions de la puce sont proposées au OEMs : une avec uniquement le Wi-Fi, l'autre avec la partie cellulaire en plus. Qualcomm met en avant par ce biais son programme "Boundless XR" qui permet des connexions sans fil entre casque autonome et PC, ou casque autonome vers le cloud pour faire du calcul déporté (applications lourdes streamées vers l'appareil).

 

Au moins cinq projets en cours, dont un avec Niantic

Les smartphones n'ont pas dit leur dernier mot

 

Qualcomm poursuit en parallèle ses efforts pour populariser les "XR Viewers", des accessoires de réalité virtuelle ou augmentée pour smartphones. L’entreprise cible en particulier les opérateurs télécom avec cette gamme de produits, et a souligné à plusieurs reprises à L'Usine Digitale que 2020 et 2021 verraient d’importantes annonces en la matière. Lors du Snapdragon Tech Summit 2019, l’opérateur japonais KDDI a annoncé un partenariat avec nReal pour commercialiser une version cobrandée de ses lunettes nReal Light. Elles seront disponibles dans une boutique pilote (située à Shibuya) dès le 1er novembre, et plus globalement début 2020.

Au moins cinq constructeurs ont d'ores et déjà des projets en cours avec cette puce, pour une commercialisation des premiers appareils dès 2020. Le premier de ces partenaires annoncés est Niantic, la start-up californienne à l’origine des jeux Ingress, Pokémon Go et Harry Potter: Wizards Unite. Phil Keslin, cofondateur et CTO de Niantic, est monté sur scène lors de l’évènement pour annoncer un accord pluriannuel avec Qualcomm pour le développement de lunettes de réalité augmentée. Elles seront évidemment optimisées pour la plate-forme Niantic Real World, et seront fournies en amont aux développeurs membres du programme Niantic Creator qui a été annoncé le mois dernier.

 

On trouve également parmi eux le projet français Lynx. Qualcomm se plaît à rappeler, à raison, que tous les appareils AR/VR autonomes du marché utilisent aujourd'hui ses puces. D'après l'entreprise, une trentaine d'entre eux ont été mis sur le marché au cours des 16 derniers mois.

Réagir

* Les commentaires postés sur L’Usine Digitale font l’objet d’une modération par l’équipe éditoriale.

 
media