Microsoft vient de franchir une nouvelle étape dans l’automatisation intelligente avec l’introduction d’une fonctionnalité baptisée « computer use » dans Copilot Studio. Inspirée de ce que proposent déjà OpenAI avec Operator ou Anthropic avec Claude, cette nouveauté permet désormais aux agents IA de naviguer et interagir avec des sites web et applications desktop comme un humain.
Une IA capable d’agir comme vous… mais à grande échelle
Concrètement, la fonctionnalité « computer use » permet à un agent Copilot :
- de cliquer sur des boutons,
- remplir des formulaires,
- sélectionner des menus déroulants,
- taper dans des champs de texte.
« Si un utilisateur humain peut utiliser l’application, l’agent IA peut le faire aussi », explique Charles Lamanna, vice-président chez Microsoft pour la division Copilot Business & Industry.
Et là où cela devient vraiment puissant, c’est que cette IA n’a pas besoin d’API pour fonctionner. Elle simule une interaction utilisateur, ce qui ouvre la voie à l’automatisation de tâches complexes sur des systèmes qui n’étaient pas connectables jusqu’à présent.
Des cas d’usage concrets pour les entreprises
Grâce à cette fonctionnalité, Copilot Studio devient une véritable plateforme RPA (Robotic Process Automation) alimentée par l’IA. Les entreprises pourront créer des agents capables de :
- Saisir automatiquement des données dans un logiciel de gestion
- Effectuer de la recherche de marché sur le Web
- Traiter des factures numériques ou des formulaires papier scannés
- Automatiser des workflows métiers même sans API dédiée
Résilience face aux changements d’interface
Microsoft va encore plus loin : les agents IA de Copilot Studio sont conçus pour s’adapter aux changements d’interface, que ce soit sur un site Web ou dans une application. Si un bouton change de place ou si un champ est renommé, l’IA continue de fonctionner sans planter, en détectant dynamiquement les modifications.
Une extension logique après les « Actions » dans Copilot grand public
Il y a quelques semaines, Microsoft introduisait les Actions dans Copilot pour le grand public, permettant à l’IA d’effectuer en tâche de fond des réservations, achats en ligne, ou billetterie. Copilot Studio pousse cette logique plus loin, en permettant une intégration plus ouverte et personnalisée, sans restriction aux seuls partenaires commerciaux de Microsoft.
Avec « computer use », Microsoft transforme Copilot Studio en une plateforme d’automatisation intelligente sans précédent, capable d’imiter l’humain dans les logiciels comme sur le web. Une innovation qui ouvre des perspectives incroyables pour les entreprises, en particulier dans les services administratifs, la finance ou encore la relation client.
