Le modèle de langage d’IA créé par xAI d’Elon Musk, Grok, a été largement diffusé la semaine dernière, et les gens ont commencé à repérer des problèmes. Vendredi dernier, le testeur de sécurité Jax Winterbourne a tweeté une capture d’écran montrant Grok refusant une requête avec la déclaration suivante : « J’ai bien peur de ne pas pouvoir répondre à cette demande, car elle va à l’encontre de la politique d’OpenAI en matière de cas d’utilisation ».
Uhhh. Tell me that Grok is literally just ripping OpenAI’s code base lol. This is what happened when I tried to get it to modify some malware for a red team engagement. Huge if true. #GrokX pic.twitter.com/4fHOc9TVOz
—Jax Winterbourne (@JaxWinterbourne) December 9, 2023
Évidemment, cela a surpris de nombreuses personnes, car Grok n’est pas développé par OpenAI, la société responsable de ChatGPT, que Grok est censé concurrencer.
Il est intéressant de noter que les représentants de xAI n’ont pas nié que ce comportement se produisait avec leur modèle d’IA. En réponse, Igor Babuschkin, employé de xAI, a écrit : « Le problème est que le Web est plein de sorties ChatGPT, et nous en avons donc accidentellement récupéré certaines lorsque nous avons entraîné Grok sur une grande quantité de données Web. Nous avons été très surpris lorsque nous l’avons remarqué pour la première fois. Pour ce que cela vaut, le problème est très rare et maintenant que nous en sommes conscients, nous nous assurerons que les futures versions de Grok n’auront pas ce problème. Ne vous inquiétez pas, aucun code OpenAI n’a été utilisé pour créer Grok ».
The issue here is that the web is full of ChatGPT outputs, so we accidentally picked up some of them when we trained Grok on a large amount of web data. This was a huge surprise to us when we first noticed it. For what it’s worth, the issue is very rare and now that we’re aware…
—Igor Babuschkin (@ibab_ml) December 9, 2023
En réponse à Babuschkin, Winterbourne a écrit : « Merci pour la réponse. Je dirais que ce n’est pas très rare, et que cela se produit assez fréquemment lorsqu’il s’agit de création de code. Néanmoins, je laisserai les spécialistes du LLM et de l’IA s’exprimer à ce sujet. Je ne suis qu’un observateur ».
Cependant, l’explication de Babouchkine semble peu probable pour certains experts, car les Large Language Model ne recrachent généralement pas leurs données d’apprentissage mot pour mot, ce qui pourrait être le cas si Grok captait quelques mentions parasites des politiques de OpenAI ici ou là sur le Web. Au lieu de cela, le concept de refus d’un résultat basé sur les politiques de OpenAI devrait probablement faire l’objet d’un apprentissage spécifique. Et, il y a une très bonne raison pour laquelle cela a pu se produire : Grok a été affiné à partir des données de sortie des modèles de langage de OpenAI.
Pas une première
À mesure que les Large Language Model (LLM) de OpenAI sont devenus plus performants, il est devenu de plus en plus courant pour certains projets d’IA (en particulier les projets open source) d’affiner les résultats d’un modèle d’IA à l’aide de données synthétiques — des données d’entraînement générées par d’autres modèles de langage. Le réglage fin permet d’ajuster le comportement d’un modèle d’IA en fonction d’un objectif spécifique, tel que l’amélioration du codage, après un premier cycle d’entraînement.
Il est possible que xAI ait utilisé l’un d’entre eux pour affiner Grok en vue d’atteindre un objectif spécifique, tel que l’amélioration de la capacité à suivre des instructions. Cette pratique est si courante qu’il existe même un article de WikiHow intitulé « Comment utiliser ChatGPT pour créer un ensemble de données ».
Même si l’emprunt de résultats à d’autres est courant dans la communauté de l’apprentissage automatique (bien que cela soit généralement contraire aux conditions de service), cet épisode a particulièrement attisé les flammes de la rivalité entre OpenAI et X, qui remonte aux critiques d’Elon Musk à l’égard d’OpenAI par le passé. Lorsque la nouvelle s’est répandue que Grok pourrait emprunter à OpenAI, le compte officiel ChatGPT a écrit « nous avons beaucoup en commun » et a cité l’article de Winterbourne sur X. En guise de riposte, Musk a écrit que Grok n’était pas le seul à avoir emprunté à OpenAI.
we have a lot in common pic.twitter.com/jxRsJg8qPr
—ChatGPT (@ChatGPTapp) December 9, 2023
Grok: l’IA superintelligente et audacieuse
Au début du mois de novembre, Grok a été repéré sur l’application Web de X, et le propriétaire de X, Elon Musk, a révélé que le chatbot d’IA serait bientôt lancé pour que le monde entier puisse le voir et en faire l’expérience. Depuis lors, Grok est lié à la plateforme X et n’est disponible que par le biais de l’abonnement Premium+, le niveau le plus cher du réseau social, offrant ses promesses massives, mais dans le cadre de sa version bêta précoce.
La première semaine de décembre a vu l’arrivée de Grok sur X, et Musk a souhaité que les abonnés Premium+ « s’amusent » en utilisant le chatbot IA, disponible dans les versions applicatives de la plateforme.
Cela fait partie de l’objectif de X d’être « l’application de tout », offrant son point de vue sur l’intelligence artificielle, mais elle est actuellement exclusive aux abonnés Premium+ aux États-Unis.
