Meta, la société mère de Facebook, a annoncé mardi le lancement de son Large Language Model open source Llama 3.1. Ce nouveau modèle sera disponible en trois tailles — 8B, 70B et 405B paramètres — ce dernier étant le plus grand modèle d’IA open source jamais créé. Mark Zuckerberg, PDG de Meta, décrit Llama 3.1 comme « le premier modèle d’IA open source de niveau frontalier ».
« L’année dernière, Llama 2 était comparable à une génération plus ancienne de modèles dépassée par les avancées actuelles », a écrit Zuckerberg dans un article de blog mardi. « Cette année, Llama 3 est compétitif avec les modèles les plus avancés et leader dans certains domaines. À partir de l’année prochaine, nous nous attendons à ce que les futurs modèles Llama deviennent les plus avancés de l’industrie ».
Ragavan Srinivasan, vice-président de la gestion des programmes d’IA chez Meta, a déclaré : « Ce modèle, d’un point de vue performance, va offrir des résultats à la pointe de la technologie en matière de modèles open source, et sera incroyablement compétitif avec de nombreux modèles propriétaires de premier plan ».
Llama 3.1 sera multilingue dès son lancement, supportant l’anglais, le portugais, l’espagnol, l’italien, l’allemand, le français, l’hindi et le thaï. De plus, sa fenêtre contextuelle a été étendue à 128 000 tokens, permettant de traiter des textes équivalents à un roman de près de 400 pages.
Entraîné sur 15 trillions de tokens à l’aide de 16 000 GPU H100, Meta affirme que le modèle de 405B paramètres est nettement plus grand que son prédécesseur, Llama 3. Selon les rapports, il rivalise avec les meilleurs modèles propriétaires actuels tels que le GPT-4o d’OpenAI, le Gemini 1.5 de Google, ou le Claude 3.5 d’Anthropic en matière de « connaissances générales, mathématiques, utilisation d’outils et traduction multilingue ».
Zuckerberg a prédit sur Instagram mardi que Meta AI surpasserait ChatGPT en tant qu’assistant IA le plus utilisé d’ici la fin de l’année.
Llama 3.1 : Une aubaine pour le monde de l’open source
La société note que les trois versions de Llama 3.1 bénéficieront de longueurs de prompt étendues de 128k tokens, permettant aux utilisateurs de fournir un contexte supplémentaire et jusqu’à un livre entier de documentation de soutien. De plus, Meta a modifié son accord de licence pour permettre aux développeurs d’utiliser les sorties de Llama 3.1 pour entraîner d’autres modèles.
Meta a également annoncé son partenariat avec plus d’une douzaine d’autres entreprises du secteur pour développer davantage l’écosystème Llama. Amazon, Databricks et Nvidia lanceront des suites logicielles complètes pour aider les développeurs à affiner leurs propres modèles basés sur Llama, tandis que la startup Groq a « construit un service d’inférence à faible latence et à faible coût » pour la nouvelle famille de modèles 3.1, a écrit Zuckerberg.
Étant open source, Llama 3.1 sera disponible sur tous les principaux services cloud, y compris AWS, Google Cloud et Azure.
Llama 3.1 sera également disponible sur WhatsApp et Meta AI, offrant ainsi une large accessibilité à ce modèle puissant.
