Google poursuit sa quête des modèles embarqués dans les smartphones avec EmbeddingGemma

Google poursuit son travail de développeur de modèles d'intelligence artificielle conçus spécifiquement pour l'IA embarquée. Son dernier modèle en date, EmbeddingGemma offre des performances de pointe pour sa taille grâce à son architecture ultra-efficace de 308 millions de paramètres - environ 100M de paramètres de modèle et 200M de paramètres d’embedding.

Avec, le géant de Mountain View promet aux développeurs des applications faciles à concevoir en utilisant des techniques comme le RAG (Retrieval-augmented generation) et la recherche sémantique, directement sur leur matériel.

Exécutable sur des appareils du quotidien

Côté technique, EmbeddingGemma se distingue par des performances intéressantes : le modèle d’embedding multilingue open source est le mieux classé sous les 500 millions de paramètres sur le benchmark Massive Text Embedding Benchmark (MTEB). Basé sur l’architecture Gemma 3, il est entraîné sur plus de 100 langues et suffisamment compact pour fonctionner avec moins de 200 Mo de RAM grâce à la quantification.

Autre atout, sa capacité à fonctionner dans des dimensions de sortie personnalisables et une fenêtre contextuelle de 2000 tokens pour s’exécuter sur des appareils du quotidien comme les smartphones, ordinateurs portables, ou encore les PC, et ce, même hors ligne. Les développeurs peuvent ainsi utiliser le vecteur complet de 768 dimensions pour une qualité maximale, ou le tronquer (128, 256 ou 512 dimensions) pour gagner en vitesse et réduire les coûts de stockage, explique deux chercheurs de Google DeepMind ayant participé à son développement.

Pour des tâches variées

EmbeddingGemma s'avère donc utile dans des tâches comme la recherche simultanée dans des fichiers personnels, textes, emails et notifications, sans connexion internet, mais aussi pour développer des chatbots personnalisés, spécifiques à un secteur ou fonctionnant hors ligne grâce au RAG avec Gemma 3n. Il est également adapté au classement des requêtes utilisateurs pour faciliter la compréhension des agents mobiles.

Il ne s'agit du premier modèle que Google embarque dans les smartphones. Plus tôt cet été, la firme a lancé Gemma 3 270M, une variante à 270 millions de paramètres comme son nom l'indique de sa famille de LLM open source Gemma 3. Cette version fine-tuned est capable de tourner sur une infrastructure légère et peu coûteuse ou directement sur un appareil, promesse de gain de temps significatif. La firme assure également qu'il pourra servir de fondement au développement d'une flotte de modèles spécialisés par tâche. Le développement d'agents spécialisés dans des tâches quotidiennes n'en est finalement qu'à ses prémices.

Sélectionné pour vous

Google Cloud assis sur une mine d'or grâce à l'IA

Nvidia dévoile un Rubin CPX, un processeur taillé pour l'inférence des modèles

Microsoft intègre les modèles d'Anthropic à Office 365 Copilot