Anthropic, acteur majeur de l’intelligence artificielle, lance son API de traitement par lots (Batch API), permettant aux entreprises de traiter d’importants volumes de données à moindre coût. Cette nouvelle offre, qui gère jusqu’à 10 000 requêtes de manière asynchrone sur une période de 24 heures, rend les modèles d’IA avancés plus accessibles et plus économiques pour les entreprises.
L’API Batch offre une réduction de 50 % sur les jetons d’entrée et de sortie par rapport au traitement en temps réel, permettant à Anthropic de rivaliser avec OpenAI, qui a introduit une fonctionnalité analogue plus tôt cette année.
Cette stratégie tarifaire crée une économie d’échelle pour les calculs d’IA, poussant les entreprises à adopter l’IA pour des analyses de données plus complètes et plus fréquentes.
L’API Batch est disponible pour les modèles Claude 3,5 Sonnet, Claude 3 Opus et Claude 3 Haiku d’Anthropic. La prise en charge de Claude sur Vertex AI de Google Cloud est prévue prochainement, tandis que les clients utilisant Claude via Amazon Bedrock peuvent déjà accéder aux fonctionnalités d’inférence par lots.
| Model | Input (pour 1M tokens) | Output Cost (pour 1M tokens) | Context Window |
| GPT-4o | 1.25 dollars | 5.00 dollars | 128 K |
| Claude 3.5 Sonnet | 1.50 dollars | 7.50 dollars | 200 K |
Le traitement par lots répond aux besoins spécifiques des entreprises, qui ne nécessitent pas toujours des résultats instantanés. En proposant une option plus lente, mais plus économique, Anthropic reconnaît l’importance du « temps opportun » par rapport au temps réel pour de nombreux cas d’utilisation.
Les défis du traitement par lots
Malgré ses avantages, le traitement par lots soulève des questions sur l’avenir du développement de l’IA. En privilégiant l’accessibilité des modèles existants, il risque de détourner les ressources et l’attention de l’amélioration des capacités d’IA en temps réel.
L’équilibre entre coût et vitesse est crucial dans le domaine de l’IA. L’adoption massive du traitement par lots pourrait freiner l’innovation dans les applications nécessitant des réponses instantanées, telles que la prise de décision en temps réel ou les assistants IA interactifs.
Un équilibre à trouver
Trouver le juste équilibre entre le développement du traitement par lots et du traitement en temps réel sera essentiel pour un écosystème d’IA sain et dynamique.
L’API Batch d’Anthropic représente à la fois une opportunité et un défi pour l’industrie de l’IA. Elle ouvre de nouvelles perspectives pour les entreprises, mais souligne également la nécessité d’une approche réfléchie du développement de l’IA, qui prenne en compte non seulement les économies de coûts immédiates, mais aussi l’innovation à long terme et la diversité des cas d’utilisation.
