OpenAI a continué à travailler sur les mises à jour de ChatGPT, avec un nouveau modèle de langage GPT-4 et des plugins maintenant en test public. Ce mardi, OpenAI a annoncé une importante mise à jour de ses offres d’API pour les grands modèles linguistiques : GPT-3.5 Turbo (le modèle par défaut de ChatGPT) et GPT-4 (disponible dans Bing Chat et ChatGPT Pro).
Dans les grands modèles de langage (LLM), la « fenêtre contextuelle » est une sorte de mémoire à court terme qui stocke le contenu de l’invite ou, dans le cas d’un chatbot, l’ensemble du contenu de la conversation en cours. Dans les modèles de langage, l’augmentation de la taille du contexte est devenue une course technologique, Anthropic ayant récemment annoncé une option de fenêtre contextuelle de 75 000 mots pour son modèle de langage Claude. En outre, OpenAI a développé une version de 32 000 mots-clés de GPT-4, mais elle n’est pas encore accessible au public.
Dans le même ordre d’idées, OpenAI vient d’introduire une nouvelle version de gpt-3.5-turbo avec 16 000 fenêtres contextuelles, appelée, sans surprise, « gpt-3.5-turbo-16k », qui permet à une invite d’avoir une longueur maximale de 16 000 tokens. Avec une longueur de contexte quatre fois supérieure à celle de la version standard (4 000), gpt-3.5-turbo-16k peut traiter environ 20 pages de texte en une seule requête. Il s’agit d’une avancée considérable pour les développeurs qui ont besoin d’un modèle capable de traiter et de générer des réponses pour de plus gros morceaux de texte.
En outre, les modèles mis à jour comprennent une nouvelle fonctionnalité appelée Function calling, qui permet aux développeurs de logiciels de créer plus facilement des chatbots qui répondent aux questions à l’aide d’outils externes. Cela devrait améliorer les plugins et autres services qui utilisent ChatGPT ou les API officielles.
La mise à jour de GPT-3.5 inclut également une « orientabilité plus fiable », ce qui signifie qu’elle devrait vous permettre de mieux contrôler sa personnalité dans les réponses. L’orientabilité est ce qui permet à des invites comme « prétendre que vous êtes un pirate » de bien fonctionner, et fonctionnait auparavant beaucoup mieux dans GPT-4 que dans GPT-3.5.
Un prix plus adapté
OpenAI réduit également les prix d’accès à l’API. Le coût des jetons d’entrée GPT-3.5 est désormais inférieur de 25 %, à 0,001 5 dollar pour 1 000 jetons d’entrée et à 0,002 dollar pour 1 000 jetons de sortie. La version 16K de GPT-3.5, plus puissante, coûte 0,003 dollar pour 1K de jetons d’entrée et 0,004 dollar pour 1K de jetons de sortie, et les coûts de GPT-4 ne semblent pas avoir changé.
Enfin, OpenAI ouvre la liste d’attente pour l’API GPT-4 à un plus grand nombre de personnes. L’entreprise espère supprimer entièrement la liste d’attente bientôt, ce qui pourrait être un signe que GPT-4 sera disponible pour les utilisateurs gratuits de ChatGPT dans un avenir pas si lointain.
