Technologie
Lancement du Modèle Gemma 2 de Google DeepMind avec 2 Milliards de Paramètres
Google DeepMind a récemment annoncé la mise à disposition de la version à 2 milliards de paramètres de son modèle Gemma 2, qui représente la seconde génération de ses modèles d’intelligence artificielle Gemma.
Initialement présenté en février de cette année, Gemma est une série de modèles légers de transformation de texte en texte, conçus pour les développeurs et les chercheurs, reposant sur la technologie qui alimente Google Gemini.
En juin, DeepMind avait déjà lancé Gemma 2 en deux formats différents : 9 milliards et 27 milliards de paramètres.
Le nouveau modèle de 2 milliards de paramètres apprend des modèles plus grands par le biais d’un processus de distillation, produisant ainsi des résultats impressionnants, selon les déclarations de DeepMind. L’entreprise affirme également que ce modèle surpasse tous les modèles GPT-3.5 sur le tableau de classement LMSYS Chatbot Arena.
Compatibilité et Accessibilité du Modèle Gemma 2 2B
Le modèle Gemma 2 2B est conçu pour fonctionner sur une large gamme de matériels, allant des ordinateurs portables aux dispositifs en périphérie, ainsi qu’aux déploiements cloud via Vertex AI et Google Kubernetes Engine (GKE). De plus, sa taille compacte permet son utilisation sur la version gratuite de l’accélérateur d’apprentissage profond NVIDIA T4.
Nouvelles Fonctionnalités : ShieldGemma et Gemma Scope
DeepMind introduit également deux nouvelles fonctionnalités dans sa gamme de modèles : ShieldGemma et Gemma Scope.
ShieldGemma est une série de classificateurs de sécurité destinés à identifier et à modérer les contenus nuisibles dans les entrées et sorties des modèles d’IA. Ce système se décline en plusieurs tailles et vise à cibler des problématiques telles que le discours de haine, le harcèlement, le contenu sexuellement explicite et les contenus dangereux.
Gemma Scope, quant à lui, met l’accent sur la transparence. Cet outil se compose d’un ensemble d’autoencodeurs épars (SAE), qui sont des réseaux neuronaux spécialisés permettant de décomposer les mécanismes internes complexes des modèles Gemma 2 et de fournir une compréhension plus accessible de leur traitement de l’information et de leur prise de décision.
Plus de 400 SAEs sont disponibles gratuitement, couvrant toutes les couches des modèles Gemma 2 2B et 9B. L’objectif est de permettre aux chercheurs de développer des systèmes d’IA plus transparents et fiables.
À partir d’aujourd’hui, les développeurs et les chercheurs peuvent télécharger le modèle Gemma 2 2B depuis des plateformes telles que Kaggle, Hugging Face et Vertex AI Model Garden, ou l’essayer dans Google AI Studio. Les outils ShieldGemma et Gemma Scope sont également accessibles en ligne.
Conclusion
Avec ces avancées, Google DeepMind continue de renforcer sa position dans le domaine de l’intelligence artificielle, en offrant des outils puissants et accessibles qui favorisent la recherche et le développement d’applications innovantes.
