Meta promet que la prochaine génération de ses puces d’IA personnalisées MTIA sera plus puissante et capable d’entraîner ses modèles de classement beaucoup plus rapidement. Meta poursuit ses investissements massifs dans le domaine de l’intelligence artificielle (IA) générative, cherchant à rattraper ses concurrents grâce à des dépenses se chiffrant en milliards de dollars.
Une part significative de ces fonds est allouée au recrutement de chercheurs en IA, tandis qu’une portion encore plus importante est dédiée au développement de matériel, en particulier des puces destinées à exécuter et entraîner les modèles d’IA de Meta.
La dernière innovation de Meta dans ce domaine a été dévoilée hier, juste un jour après l’annonce par Intel de son dernier accélérateur IA. Baptisée « Meta Training and Inference Accelerator » (MTIA) de nouvelle génération, cette puce succède à la version MTIA v1 de l’année dernière.
Conçue avec un processus de fabrication de 5 nm contre 7 nm pour son prédécesseur, la MTIA de nouvelle génération est plus grande physiquement, possède davantage de cœurs de traitement, consomme plus d’énergie (90W contre 25W), et dispose d’une mémoire interne plus importante (128 Mo contre 64 Mo), tout en fonctionnant à une vitesse d’horloge moyenne supérieure (1,35 GHz contre 800 MHz).
Meta affirme que la MTIA de nouvelle génération est actuellement en service dans 16 de ses régions de datacenters et offre une performance globale jusqu’à 3x supérieure à celle de la MTIA v1. Bien que ce chiffre de « trois fois » puisse paraître vague, il est issu de tests de performance sur « quatre modèles clés » sur les deux puces.
Dans un article de blog relayé par TechCrunch, Meta explique que cette puce n’est pas actuellement utilisée pour les charges de travail de formation en IA générative, bien que l’entreprise explore cette possibilité avec « plusieurs programmes en cours ». La nouvelle MTIA ne remplacera pas les GPU pour l’exécution ou la formation de modèles, mais viendra plutôt les compléter.
Meta est néanmoins sous pression
Les équipes IA de Meta sont sous pression pour réduire les coûts. L’entreprise prévoit de dépenser environ 18 milliards de dollars en GPU d’ici la fin de 2024 pour l’entraînement et l’exécution de modèles d’IA générative, et le développement de matériel en interne représente une alternative attrayante étant donné les coûts d’entraînement élevés des modèles d’IA de pointe.
Alors que le matériel de Meta peine à se développer, ses concurrents, tels que Google avec sa puce TPU v5p pour l’entraînement des modèles IA et Axion pour leur exécution, Amazon avec ses familles de puces IA personnalisées, et Microsoft avec l’accélérateur AI Azure Maia et le CPU Azure Cobalt 100, avancent rapidement.
Meta a réussi à passer du « premier silicium aux modèles de production » de la MTIA de nouvelle génération en moins de 9 mois, un délai plus court que celui habituellement observé chez Google pour les TPUs. Cependant, il reste beaucoup à faire pour Meta afin de parvenir à une certaine indépendance vis-à-vis des GPU tiers et de rivaliser efficacement avec ses concurrents.
