Lors du Computex 2023, NVIDIA vient d’annoncer un nouveau supercalculateur qui pourrait changer l’avenir de l’IA. Le DGX GH200, équipé de près de 500 fois plus de mémoire que les systèmes que nous connaissons actuellement, tombera bientôt entre les mains de Google, Meta et Microsoft.
L’objectif ? Révolutionner l’IA générative, les systèmes de recommandation et le traitement des données à une échelle jamais vue auparavant. Les modèles de langage comme GPT vont-ils en bénéficier, et qu’est-ce que cela signifie pour les utilisateurs ordinaires ?
Pour décrire le DGX GH200 de NVIDIA, il faut utiliser des termes que la plupart des utilisateurs ne connaissent pas. « Exaflop », par exemple, parce que le supercalculateur offre une performance de 1 exaflop et 144 téraoctets de mémoire partagée. NVIDIA précise que cela signifie près de 500 fois plus de mémoire que dans un seul système NVIDIA DGX A100.
Revenons sur le chiffre de 1 exaflop et décomposons-le un peu. Un exaflop équivaut à un quintillion d’opérations en virgule flottante par seconde (FLOP). À titre de comparaison, la RTX 4090 de NVIDIA peut atteindre environ 100 téraflops (TFLOP) lorsqu’elle est overclockée. Un TFLOP équivaut à un trillion d’opérations en virgule flottante par seconde. La différence est stupéfiante, mais bien sûr, la RTX 4090 n’est pas un GPU pour un datacenter. Le DGX GH200, quant à lui, intègre un nombre important de ces GPU à haute performance qui n’ont rien à faire sur un PC grand public.
L’ordinateur est alimenté par les superpuces Grace Hopper GH200 de NVIDIA. Il y en a 256 au total qui, grâce à la technologie d’interconnexion NVLink de NVIDIA, sont capables de fonctionner ensemble comme un système unifié, créant essentiellement un GPU massif.
Des puces surpuissantes
Les superpuces GH200 utilisées ici n’ont pas non plus besoin d’une connexion PCIe traditionnelle entre le CPU et le GPU. NVIDIA indique qu’ils sont déjà équipés d’un NVIDIA Grace CPU basé sur l’ARM ainsi que d’un GPU Tensor Core H100. NVIDIA a également mis en place des interconnexions de puces sophistiquées, en utilisant cette fois le NVLink-C2C. La bande passante entre le processeur et la carte graphique serait ainsi considérablement améliorée (jusqu’à 7 fois) et plus économe en énergie (jusqu’à 5 fois).
Rassembler plus de 200 de ces puces dans un seul supercalculateur est déjà impressionnant, mais c’est encore mieux si l’on considère qu’auparavant, seuls 8 GPU pouvaient être reliés à NVLink à la fois. En passant de 8 à 256 puces, NVIDIA a de quoi se vanter.
Mais où finira la DGX GH200 et que peut-elle offrir au monde ? NVIDIA construit son propre supercalculateur Helios afin de faire progresser sa recherche et son développement en matière d’IA. Il comprendra quatre systèmes DGX GH200, tous interconnectés avec Quantum-2 InfiniBand de NVIDIA. Il devrait être mis en service d’ici la fin de l’année.
Parfait pour Bard, ChatGPT et Bing Chat
NVIDIA partage également ses nouveaux développements avec le monde entier, à commencer par Google Cloud, Meta et Microsoft. L’objectif est à peu près le même : explorer les charges de travail d’IA générative. En ce qui concerne Google et Microsoft, il est difficile de ne pas imaginer que la DGX GH200 pourrait permettre d’améliorer Bard, ChatGPT et Bing Chat.
L’importante puissance de calcul fournie par un seul système DGX GH200 le rend bien adapté pour faire progresser la formation de modèles de langage sophistiqués. Il est difficile de dire ce que cela signifie exactement sans le commentaire de l’une des parties intéressées, mais on peut spéculer un peu.
Plus de puissance signifie des modèles plus grands, c’est-à-dire des textes plus nuancés et plus précis, ainsi qu’un plus large éventail de données sur lesquelles ils peuvent être entraînés. Nous pourrions assister à une meilleure compréhension culturelle, à une meilleure connaissance du contexte et à une plus grande cohérence. Des chatbots spécialisés dans l’IA pourraient également commencer à apparaître, remplaçant davantage les humains dans des domaines tels que la technologie.
Devrions-nous nous inquiéter d’un éventuel déplacement d’emplois, ou devrions-nous nous réjouir des progrès que ces superordinateurs pourraient apporter ? La réponse n’est pas simple. Une chose est sûre : le DGX GH200 de NVIDIA pourrait bouleverser le monde de l’IA, et NVIDIA vient encore de renforcer son avance sur AMD dans le domaine de l’IA.
