En début de mois, xAI, la société d’Elon Musk, a fait sensation avec la sortie de son modèle de langage étendu (LLM) Grok-2, un chatbot accessible via un abonnement mensuel de 11 euros sur le réseau social X (anciennement Twitter).
Les deux versions de Grok-2, à savoir Grok-2 et Grok-2 mini, ont vu leur vitesse d’analyse et de réponse considérablement augmenter grâce à une réécriture complète de la pile d’inférence réalisée par deux développeurs de xAI au cours des trois derniers jours.
Comme l’a annoncé la semaine dernière sur X Igor Babuschkin, développeur chez xAI, sous le pseudonyme @ibab :
Grok-2 mini est maintenant deux fois plus rapide qu’hier. Au cours des trois derniers jours, @lm_zheng et @MalekiSaeed ont réécrit notre pile d’inférence en utilisant SGLang. Cela nous a également permis de servir le modèle Grok-2 complet, qui nécessite une inférence multi-hôte, à une vitesse raisonnable. Les deux modèles ne sont pas seulement devenus plus rapides, mais aussi légèrement plus précis. Restez à l’écoute pour d’autres améliorations de vitesse !
Les deux développeurs responsables de cette avancée sont Lianmin Zheng et Saeed Maleki, comme mentionné dans le post de Babuschkin.
Grok 2 mini is now 2x faster than it was yesterday. In the last three days @lm_zheng and @MalekiSaeed rewrote our inference stack from scratch using SGLang (https://t.co/M1M8BlXosH). This has also allowed us to serve the big Grok 2 model, which requires multi-host inference, at a… pic.twitter.com/G9iXTV8o0z
— ibab (@ibab) August 23, 2024
Une réécriture d’inférence révolutionnaire avec SGLang
Pour réaliser cette réécriture, les développeurs se sont appuyés sur SGLang, un système open-source (sous licence Apache 2.0) extrêmement efficace pour exécuter des programmes complexes de modèles linguistiques, atteignant jusqu’à 6,4 fois plus de débit que les systèmes existants.
Développé par des chercheurs de l’Université Stanford, l’Université de Californie à Berkeley, Texas A&M University et l’Université Jiao Tong de Shanghai, SGLang intègre un langage frontal avec un runtime backend pour simplifier la programmation des applications de modèles linguistiques. Ce système est polyvalent, supportant de nombreux modèles tels que Llama, Mistral, et LLaVA, et est compatible avec des modèles open-weight et basés sur API comme GPT-4 d’OpenAI.
La capacité de SGLang à optimiser l’exécution grâce à la réutilisation automatique du cache et au parallélisme au sein d’un même programme en fait un outil puissant pour les développeurs travaillant avec des modèles linguistiques à grande échelle.
Performances impressionnantes des modèles Grok-2 et Grok-2-mini
Par ailleurs, dans la dernière mise à jour du leaderboard Lmsys Chatbot Arena, qui classe les performances des modèles d’IA, le modèle principal Grok-2 s’est hissé à la deuxième place avec un impressionnant score Arena de 1293, basé sur 6686 votes.
Chatbot Arena update❤️🔥
Exciting news—@xAI‘s Grok-2 and Grok-mini are now officially on the leaderboard!
With over 6000 community votes, Grok-2 has claimed the #2 spot, surpassing GPT-4o (May) and tying with the latest Gemini! Grok-2-mini also impresses at #5.
Grok-2 excels in… pic.twitter.com/5lyQgratJQ
— lmsys.org (@lmsysorg) August 23, 2024
Cela place effectivement Grok-2 en deuxième position des modèles d’IA les plus puissants au monde, à égalité avec le modèle Gemini-1.5 Pro de Google, et juste derrière la dernière version de GPT-4o d’OpenAI.
Grok-2-mini, qui a également bénéficié des améliorations récentes, a grimpé à la cinquième position, avec un score Arena de 1268, obtenu grâce à 7266 votes, juste derrière GPT-4o mini et Claude 3,5 Sonnet.
Les deux modèles, qui sont propriétaires de xAI, reflètent l’engagement de la société à faire progresser la technologie de l’intelligence artificielle.
Grok -2 se distingue notamment dans les tâches mathématiques, où il se classe premier. Le modèle occupe également des positions solides dans diverses autres catégories, telles que les « Hard Prompts », le codage, et le suivi des instructions, où il se classe régulièrement parmi les meilleurs. Ces performances placent Grok-2 devant d’autres modèles de renom, comme GPT-4o de mai 2024, qui occupe désormais la quatrième place.
Développements futurs
Selon une réponse de Babuschkin sur X, l’avantage principal de l’utilisation de Grok-2-mini par rapport au modèle Grok-2 complet réside dans sa vitesse améliorée. Cependant, Babuschkin a promis que xAI continuerait d’améliorer la vitesse de traitement de Grok-2-mini, ce qui pourrait en faire une option encore plus attrayante pour les utilisateurs cherchant à allier haute performance et faible coût en ressources computationnelles.
Yes, that’s the main reason for now. We will make it even faster than it is right now.
— ibab (@ibab) August 23, 2024
L’ajout de Grok-2 et Grok-2-mini au leaderboard de Chatbot Arena et leurs performances notables ont attiré une attention significative au sein de la communauté de l’IA.
Le succès de ces modèles témoigne de l’innovation continue de xAI et de son engagement à repousser les limites de ce que l’IA peut accomplir. À mesure que xAI continue de perfectionner ses modèles, le paysage de l’IA peut s’attendre à des améliorations supplémentaires en termes de vitesse et de précision, maintenant Grok-2 et Grok-2-mini à l’avant-garde du développement de l’IA.
