Elon Musk, PDG de Tesla et propriétaire de Twitter/X, a annoncé lundi que sa startup en intelligence artificielle, xAI, avait officiellement commencé la formation de son supercalculateur, nommé Memphis.
Décrit par Musk comme « le cluster de formation d’IA le plus puissant au monde », ce supercalculateur est installé dans une ancienne usine de production d’Electrolux à Memphis, Tennessee.
Nice work by @xAI team, @X team, @Nvidia & supporting companies getting Memphis Supercluster training started at ~4:20am local time.
With 100k liquid-cooled H100s on a single RDMA fabric, it’s the most powerful AI training cluster in the world!
— Elon Musk (@elonmusk) July 22, 2024
Une fois pleinement opérationnel, Musk prévoit d’utiliser ce supercalculateur pour développer « l’IA la plus puissante au monde selon tous les critères d’ici décembre de cette année », ce qui sera vraisemblablement le Grok 3.
Le supercalculateur de xAI, baptisé « Gigafactory of Compute », utilisera 100 000 GPU H100 de Nvidia. Ces GPU sont basés sur l’architecture Hopper, formant un réseau environ 4x plus grand que les clusters actuels les plus avancés, tels que le cluster Intel GPU Aurora (60,000 GPU) au Argonne National Lab, le Frontier d’AMD (environ 38 000 GPU) à Oak Ridge, et l’Eagle de Microsoft qui fonctionne avec 14 400 GPU H100 de NVIDIA.
Un investissement record à Memphis
Selon Ted Townsend, président et directeur général de la Greater Memphis Chamber, l’ouverture de cette installation de formation représente le plus grand investissement en capital par une nouvelle entreprise dans l’histoire de Memphis. Le supercalculateur servira à « alimenter et financer l’espace de l’IA pour toutes ses [Musk] entreprises, en commençant évidemment par Tesla et SpaceX », a-t-il déclaré. « Si vous pouvez imaginer la puissance de calcul nécessaire pour placer des humains à la surface de Mars, cela va se passer ici à Memphis ».
Malgré cet investissement de plusieurs milliards de dollars par xAI, l’installation ne devrait générer que quelques centaines d’emplois locaux. De plus, selon un rapport de WREG, la Tennessee Valley Authority (TVA) n’a pas encore de contrat en place avec xAI. La TVA travaille avec xAI et ses partenaires chez Memphis Light, Gas and Water (MLGW) sur les détails de la proposition et des besoins en électricité. La TVA a également souligné que tout projet dépassant les 100 mégawatts (MW) nécessite son approbation pour se connecter au réseau électrique de l’État. Le président de MLGW, Doug McGowen, estime que l’installation de Musk pourrait consommer jusqu’à 150 MW pendant les périodes de pointe.
