Après l’introduction de Copilot, son dernier assistant connecté pour Windows 11, Microsoft fait à nouveau progresser l’intégration de l’IA générative dans Windows. Lors de la conférence des développeurs Ignite 2023 qui se tient actuellement à Seattle, Microsoft a annoncé un partenariat avec NVIDIA sur TensorRT-LLM qui promet d’améliorer les expériences des utilisateurs sur les ordinateurs de bureau et les ordinateurs portables Windows équipés de GPU RTX.
La nouvelle version devrait prendre en charge de nouveaux modèles de langage volumineux, rendant ainsi plus accessibles les charges de travail exigeantes en matière d’IA. Il convient de souligner sa compatibilité avec l’API Chat d’OpenAI, qui permet une exécution locale (plutôt que dans le cloud) sur les PC et les stations de travail dotés de GPU RTX à partir de 8 Go de VRAM.
La bibliothèque TensorRT-LLM de NVIDIA a été publiée le mois dernier et est censée améliorer les performances des modèles de Large Language Models (LLM) utilisant les Tensor Cores sur les cartes graphiques RTX. Elle fournit aux développeurs une API Python pour définir des LLM et construire des moteurs TensorRT plus rapidement sans connaissances approfondies en C++ ou CUDA.
Avec la sortie de TensorRT-LLM v0.6.0, la navigation dans les complexités des projets d’IA générative personnalisés sera simplifiée grâce à l’introduction d’AI Workbench. Il s’agit d’une boîte à outils unifiée facilitant la création, le test et la personnalisation rapides de modèles d’IA générative et de LLM pré-entraînés. La plateforme devrait également permettre aux développeurs de rationaliser la collaboration et le déploiement, garantissant ainsi un développement de modèles efficace et évolutif.
Conscients de l’importance de soutenir les développeurs d’IA, NVIDIA et Microsoft publient également des améliorations DirectML. Ces optimisations accélèrent les modèles d’IA fondamentaux tels que Llama 2 et Stable Diffusion, offrant aux développeurs davantage d’options pour le déploiement inter-fournisseurs et établissant de nouvelles normes de performance.
Un fonctionnement local
La nouvelle mise à jour de la bibliothèque TensorRT-LLM promet également une amélioration substantielle des performances d’inférence, avec des vitesses jusqu’à 5x plus rapides. Cette mise à jour étend également la prise en charge d’autres LLM populaires, notamment Mistral 7B et Nemotron-3 8B, et étend les capacités des LLM locaux rapides et précis à une gamme plus large d’appareils Windows portables.
L’intégration de TensorRT-LLM pour Windows avec l’API Chat d’OpenAI par le biais d’un nouveau wrapper permettra à des centaines de projets et d’applications basés sur l’IA de fonctionner localement sur des PC équipés de RTX. Il ne sera donc plus nécessaire de s’appuyer sur des services sur le cloud et de garantir la sécurité des données privées et exclusives sur les PC sous Windows 11.
L’avenir de l’IA sur les PC dotés de Windows 11 a encore un long chemin à parcourir. Les modèles d’IA étant de plus en plus disponibles et les développeurs continuant à innover, l’exploitation de la puissance des GPU RTX de NVIDIA pourrait changer la donne. Cependant, il est encore trop tôt pour dire s’il s’agira de la dernière pièce du puzzle dont Microsoft a désespérément besoin pour libérer pleinement les capacités de l’IA sur les PC Windows.
