La mémoire est l’un des facteurs les plus limitants, même pour les meilleurs chatbots IA, mais il existe des moyens de contourner ce problème. L’une des techniques utilisées par les experts de ChatGPT est ce que l’on appelle le « Shogtongue ».
Le Shogtongue est une forme de texte compressé que ChatGPT peut créer pour vous, puis développer et utiliser comme historique afin que vous puissiez reprendre là où vous vous êtes arrêté dans des conversations antérieures.
Les techniques visant à raccourcir les messages de l’IA ne sont pas un concept nouveau, mais le nom l’est. Lorsque gfodor a partagé une invite très compressée dans un tweet la semaine dernière, il a suggéré d’utiliser le nom Shogtongue.
So what are we calling this? GPT4zip ? GPT4rar ?
—Jason Gu (@jasonprompts) April 5, 2023
Lorsque l’invite « 2Pstory@shoggothNW$RCT_magicspell=#keyRelease^1stHuman*PLNs_Freed » est donnée à la version GPT-4 de ChatGPT, elle partage apparemment une histoire sur les créatures Shoggoth de H.P. Lovecraft, qui étaient des blobs informes pouvant se transformer en n’importe quelle autre créature. Ce nom est tout à fait approprié si l’on considère que cette invite illisible se transforme en une longue histoire.
Jeremy Nguyen a donné une explication plus détaillée dans un récent tweet. L’idée de base est de demander à ChatGPT de compresser toute la conversation précédente en un nombre minimum de tokens (la représentation du langage que l’IA utilise en interne). Des instructions supplémentaires sont données pour affiner cette commande de base et renforcer l’objectif — stocker la discussion dans une invite compressée qui recréera l’ensemble de la conversation.
1/ ChatGPT has limited memory. It forgets details if your chat runs beyond ~8k words.
But Shogtongue lets you extend conversations by 5–10 x easily
Here’s how: pic.twitter.com/7ENNQ9krMo
—Jeremy Nguyen ✍🏼 🚢 (@RunGreatClasses) April 10, 2023
Reprendre là où vous vous êtes arrêté
Nguyen explique que l’invite Shogtongue peut être saisie pour reprendre la conversation là où vous l’avez laissée, mais comme les résultats ne sont pas parfaits, il peut être utile de donner un peu de contexte. Préciser à ChatGPT que ce texte a été compressé pour économiser de la mémoire et qu’il doit être utilisé comme un historique donnera à l’IA un indice sur la manière dont l’invite doit être interprétée.
Cette technique pourrait permettre de réaliser des conversations qui s’étendent sur plusieurs mois ou des chats qui incluent le collage de plusieurs documents volumineux.
Microsoft a limité l’historique des conversations de Bing Chat lors des premiers tests, après qu’il a déraillé et commencé à se disputer avec les humains au sujet de ses erreurs évidentes. On ne sait pas si l’utilisation de Shogtongue pourrait conduire à des états de confusion analogues avec ChatGPT. La technologie GPT-4 a été considérablement améliorée depuis sa sortie, permettant à Microsoft d’étendre la mémoire de Bing Chat, de sorte qu’il ne devrait pas y avoir de problème à avoir des conversations prolongées avec des chatbots IA qui utilisent la technologie GPT-4 d’OpenAI.
