Après 4 mois d’attente, Meta a sorti une nouvelle série de modèles Llama 4 open-weight. Les nouveaux modèles d’IA sont Llama 4 Scout, Llama 4 Maverick et Llama 4 Behemoth. Contrairement aux précédents modèles denses, Meta a opté cette fois pour l’architecture MoE (Mixture of Experts), tout comme DeepSeek R1 et V3. Tous les modèles Llama 4 sont nativement multimodaux.
Tout d’abord, le plus petit modèle Llama 4 Scout a un total de 109B paramètres avec 16 experts, mais seulement 17B paramètres sont actifs à la fois. Il prend également en charge une longueur de contexte massive de 10 millions de tokens. Meta affirme que le Llama 4 Scout (17B) offre de meilleures performances que Gemma 3, Mistral 3.1 et Gemini 2.0 Flash Lite.
Ensuite, le modèle Llama 4 Maverick apporte un total de 400B paramètres avec 128 experts supplémentaires, mais là encore, seuls 17B paramètres sont actifs. Ce modèle est plus performant que le Llama 4 Scout, car il dispose de beaucoup plus de modèles experts spécialisés. La longueur du contexte est de 1 million de jetons. Meta affirme que le Llama 4 Maverick bat le GPT-4o d’OpenAI et le Gemini 2.0 Flash de Google.
L’aspect impressionnant du Llama 4 Maverick est qu’avec seulement 17B paramètres actifs, il a obtenu un score ELO de 1 417 sur le tableau de classement de LMArena. Cela place le modèle Maverick en deuxième position, juste derrière Gemini 2.5 Pro, et au-dessus de Grok 3, GPT-4o, GPT-4.5, et d’autres. Il obtient également des résultats comparables à ceux du dernier modèle DeepSeek V3 pour les tâches de raisonnement et de codage, et étonnamment, avec seulement la moitié des paramètres actifs.
Meta a réalisé un travail remarquable en distillant les modèles Llama 4 Scout et Maverick à partir du plus grand modèle Llama 4 Behemoth. Le modèle d’IA Llama 4 Behemoth est formé sur un total de 2 billions de paramètres, mais seulement 288 milliards de paramètres sont actifs parmi les 16 experts. Meta indique que Behemoth est encore en cours d’entraînement et que de plus amples informations sur sa sortie seront communiquées ultérieurement.
Llama 4 Behemoth, le modèle ultime !
Meta affirme que le Llama 4 Behemoth bat les plus grands modèles d’IA tels que GPT-4.5, Claude 3.7 Sonnet et Gemini 2,0 Pro sur les benchmarks STEM. Notez que ces modèles ne sont pas des modèles de raisonnement, Meta peut donc obtenir des performances encore meilleures avec les futurs modèles de raisonnement en utilisant les modèles de base de la série Llama 4.
En ce qui concerne la disponibilité, Meta indique que Llama 4 est déployé sur Meta AI dans WhatsApp, Messenger, Instagram et sur le site Web de Meta AI, à partir d’aujourd’hui dans 40 pays. Cependant, les fonctionnalités multimodales ne sont actuellement disponibles qu’aux États-Unis. Les deux nouveaux modèles, également disponibles en téléchargement sur Meta ou Hugging Face.
Comme pour ses précédents modèles, Meta qualifie la collection Llama 4 d’« open source », bien que Llama ait été critiqué pour ses restrictions de licence. Par exemple, la licence Llama 4 exige que les entités commerciales comptant plus de 700 millions d’utilisateurs actifs mensuels demandent l’autorisation de Meta avant d’utiliser ses modèles, ce qui, selon l’Open Source Initiative en 2023, les exclut de la catégorie « Open Source » ».
