Les modèles d’IA conversationnelle tels que ChatGPT d’OpenAI et Bard de Google semblent disposer de l’ensemble des informations disponibles sur l’Internet, mais il y a une limite en ce qui concerne les invites de l’utilisateur. Les chatbots d’IA ne traitent pas les mots et les phrases comme un humain. Ils les décomposent en jetons.
Selon OpenAI, un jeton équivaut à environ quatre caractères dans la langue anglaise, soit environ 3/4 d’un mot.
Deux phrases peuvent contenir jusqu’à 30 jetons, tandis qu’un essai de 1 500 mots en contient 2 048. Mais, il y a une limite supérieure. ChatGPT ne peut traiter que des invites d’un maximum de 8 000 jetons, tandis que la version étendue autorise des invites de 32 000 jetons. En un mot, vous ne pouvez pas taper une invite d’une longueur équivalente à celle d’un livre, en vous attendant à ce que ChatGPT l’absorbe entièrement et vous donne des réponses pertinentes.
Anthropic, un laboratoire d’IA basé à San Francisco et fondé par des anciens de OpenAI, entre en jeu. L’entreprise affirme que son modèle d’IA Claude peut désormais traiter des entrées allant jusqu’à 100 000 jetons, ce qui représente un énorme bond en avant par rapport à la limite précédente de 9 000 jetons. Pour mettre ce nouveau plafond en perspective, 100 000 jetons correspondent à des messages d’une longueur de 75 000 mots, soit un roman entier.
Cela signifie que Claude peut accepter un texte qui est en fait un livre entier. Vous pouvez copier-coller ces livres dans le champ d’interrogation de Claude et il répondra à toutes les questions que vous vous posez sur les personnages et les rebondissements du livre.
Un bond en avant pour la cognition de l’IA
Anthropic a fourni le texte complet de « The Great Gatsby » de F. Scott Fitzgerald, d’une valeur d’environ 72 000 jetons, suivi d’une ligne incorrecte du livre. Claude a parcouru l’ensemble du livre et a trouvé la ligne correcte en 22 secondes. Anthropic affirme que Claude peut traiter des entrées d’une valeur de 100 000 jetons en moins d’une minute. Pour mettre cela en perspective avec le monde réel, un humain mettra plus de 5 heures à lire un texte d’environ 100 000 jetons.
Mais la lecture d’un texte aussi volumineux n’est qu’une partie de l’équation. Pour pouvoir répondre à des questions connexes, il faut intérioriser le texte, un processus qui prendrait plus de 5 heures. Pour repérer les modifications, un être humain devrait se souvenir de chaque mot. Il s’agit là d’un effort gigantesque qui prendrait des jours, voire des mois, pour être accompli, si tant est qu’il le soit. Claude peut réaliser cet exploit en moins d’une minute.
Anthropic affirme que Claude est prêt à répondre non seulement à des questions simples, mais aussi à des chaînes de questions à plusieurs étapes. « Pour les questions complexes, il est probable que cela fonctionne beaucoup mieux que les approches basées sur la recherche vectorielle », affirme l’entreprise. Les implications sont énormes, en particulier pour les entreprises qui doivent passer au crible d’énormes catalogues de documents pour trouver la pépite d’information pertinente.
Les nouveaux pouvoirs de Claude sont désormais accessibles aux entreprises clientes depuis les API d’Anthropic, mais on ne sait pas si une version édulcorée sera mise à la disposition du public, comme c’est le cas pour Bard, Bing Chat ou ChatGPT.
