Imaginez que vous jouiez à votre jeu de rôle préféré, mais qu’au lieu d’affronter des ennemis informatisés déterminés à vous vaincre tout seul, vous ayez un puissant compagnon — un agent d’intelligence artificielle (IA) avancé qui apprend et se comporte comme un joueur humain.
Ce mercredi 13 mars, DeepMind, la filiale de recherche en IA de Google, a dévoilé SIMA, un agent d’IA révolutionnaire conçu pour apprendre et jouer à des jeux vidéo de la même manière qu’un joueur humain.
Contrairement à l’IA traditionnelle qui est programmée pour gagner à tout prix, SIMA est entraînée à jouer et à suivre des instructions, imitant ainsi l’expérience de jeu naturelle d’un participant humain.
Introducing SIMA: the first generalist AI agent to follow natural-language instructions in a broad range of 3D virtual environments and video games. 🕹️
It can complete tasks similar to a human, and outperforms an agent trained in just one setting. 🧵 https://t.co/qz3IxzUpto pic.twitter.com/02Q6AkW4uq
—Google DeepMind (@GoogleDeepMind) March 13, 2024
Comment fonctionne SIMA de Google DeepMind ?
SIMA (Scalable, Instructable, Multiworld Agent) est actuellement en phase de recherche, mais il s’agit d’une étape importante vers le développement d’agents d’intelligence artificielle généraux et performants. L’agent est développé pour apprendre à jouer à n’importe quel jeu vidéo, y compris les jeux à monde ouvert et ceux qui n’ont pas de parcours linéaire.
« SIMA n’est pas formé pour gagner un jeu ; il est formé pour l’exécuter et faire ce qu’on lui demande », explique Tim Harley, chercheur chez Google DeepMind et co-responsable du projet SIMA. « Il mélange l’enseignement du langage naturel avec la compréhension des mondes en 3D et la reconnaissance d’images ».
Pour entraîner SIMA, Google DeepMind a collaboré avec 8 développeurs de jeux, dont des studios tels que Hello Games, Embracer, Tuxedo Labs et Coffee Stain. Les chercheurs ont intégré SIMA à divers jeux, tels que No Man’s Sky, Teardown, Valheim et Goat Simulator 3, afin d’enseigner à l’agent IA les principes de base du jeu.
Le processus de formation a comporté plusieurs étapes, notamment la création d’un environnement personnalisé dans le moteur Unity où les agents ont appris à manipuler des objets en créant des sculptures.
Il y a encore du travail ?
Les chercheurs ont ensuite enregistré des paires de joueurs humains, l’un contrôlant le jeu et l’autre donnant des instructions, afin de saisir les indices linguistiques. Ces données ont ensuite été transmises à SIMA pour l’aider à prédire les événements à l’écran en fonction des actions et des instructions.
Mais, il reste encore un long chemin à parcourir avant que SIMA puisse être déployé. Il apprend à marcher avant de pouvoir courir.
Actuellement, SIMA maîtrise environ 600 compétences de base, telles que tourner à gauche, monter à l’échelle et ouvrir les menus d’un jeu. Toutefois, l’équipe envisage que SIMA puisse éventuellement être chargé d’exécuter des fonctions plus complexes dans les jeux, comme la recherche de ressources et la construction de camps.
