Technologie
Crédit image : Venturebeat, via Ideogram
Le Technology Innovation Institute (TII), soutenu par Abu Dhabi, a récemment dévoilé un modèle open-source nommé Falcon Mamba 7B. Cet institut de recherche se concentre sur des technologies de pointe telles que l’intelligence artificielle, l’informatique quantique et la robotique autonome.
Disponible sur Hugging Face, ce modèle décodeur utilise une architecture innovante appelée Mamba State Space Language Model (SSLM) pour accomplir diverses tâches de génération de texte, surpassant des modèles de taille similaire comme Llama 3 8B, Llama 3.1 8B et Mistral 7B sur certains critères de performance.
Falcon Mamba 7B est le quatrième modèle open-source lancé par TII, après Falcon 180B, Falcon 40B et Falcon 2, et il est le premier à adopter l’architecture SSLM, qui émerge comme une alternative prometteuse aux modèles de langage basés sur des transformateurs.
Le modèle est proposé sous la licence « Falcon License 2.0 », une licence permissive inspirée de l’Apache 2.0.
Quelles innovations apporte le Falcon Mamba 7B ?
Bien que les modèles de transformateurs dominent le domaine de l’IA générative, des chercheurs ont observé que cette architecture peut rencontrer des difficultés avec des textes plus longs. Le mécanisme d’attention des transformateurs, qui compare chaque mot avec tous les autres pour comprendre le contexte, nécessite une puissance de calcul et une mémoire considérables pour gérer des fenêtres de contexte croissantes.
Si les ressources ne sont pas adaptées, le processus d’inférence ralentit et atteint un point où il ne peut plus traiter des textes au-delà d’une certaine longueur.
Pour surmonter ces limitations, l’architecture SSLM, qui met à jour en continu un « état » lors du traitement des mots, s’est révélée être une alternative prometteuse. TII est l’un des derniers à adopter cette approche.
Selon TII, le modèle Falcon utilise l’architecture Mamba SSM, initialement proposée par des chercheurs des universités Carnegie Mellon et Princeton dans un article publié en décembre 2023. Cette architecture intègre un mécanisme de sélection permettant au modèle d’ajuster dynamiquement ses paramètres en fonction des entrées, lui permettant ainsi de se concentrer sur certaines informations tout en traitant de longues séquences de texte, comme un livre entier, sans nécessiter de ressources supplémentaires.
Cette approche rend le modèle adapté à des tâches à grande échelle telles que la traduction automatique, la synthèse de texte, la vision par ordinateur et le traitement audio, ainsi que des tâches d’estimation et de prévision.
Pour évaluer les performances du Falcon Mamba 7B par rapport aux modèles de transformateurs de taille similaire, l’institut a effectué un test pour déterminer la longueur maximale de contexte que les modèles peuvent gérer avec un GPU A10 de 24 Go.
Les résultats ont montré que Falcon Mamba peut « traiter des séquences plus longues que les modèles de transformateurs de pointe tout en étant théoriquement capable de gérer une longueur de contexte infinie si l’on traite le contexte mot par mot ou par morceaux de taille adaptée au GPU, ce qui est désigné comme un traitement parallèle séquentiel. »
Dans un test de débit distinct, il a surpassé l’architecture d’attention à fenêtre glissante de Mistral 7B, générant tous les tokens à une vitesse constante sans augmentation de la mémoire CUDA maximale.
Dans des benchmarks standards de l’industrie, les performances du nouveau modèle étaient meilleures ou comparables à celles de modèles de transformateurs populaires ainsi que de modèles d’état pur et hybrides.
Par exemple, dans les benchmarks Arc, TruthfulQA et GSM8K, Falcon Mamba 7B a obtenu des scores de 62,03 %, 53,42 % et 52,54 %, surpassant de manière convaincante Llama 3 8B, Llama 3.1 8B, Gemma 7B et Mistral 7B.
Cependant, dans les benchmarks MMLU et Hellaswag, il se situait juste derrière ces modèles.
Ceci n’est que le début. TII prévoit d’optimiser davantage la conception du modèle pour améliorer ses performances et couvrir un plus large éventail de scénarios d’application.
« Cette publication représente un pas en avant significatif, inspirant de nouvelles perspectives et alimentant la quête de systèmes intelligents. Chez TII, nous repoussons les limites des modèles SSLM et des transformateurs pour stimuler davantage l’innovation dans l’IA générative, » a déclaré Dr. Hakim Hacid, chercheur principal par intérim de l’unité inter-centres IA de TII.
Dans l’ensemble, la famille de modèles de langage Falcon de TII a été téléchargée plus de 45 millions de fois, se positionnant comme l’une des sorties de LLM les plus réussies des Émirats Arabes Unis.
