Lors de son événement pour son 50e anniversaire, Microsoft a récemment annoncé l’introduction de Copilot Vision, une nouvelle fonctionnalité pour Windows 11 qui permet à l’assistant IA Copilot de visualiser et d’interagir avec le contenu affiché à l’écran. Cette capacité, initialement introduite dans Microsoft Edge, est désormais étendue à l’ensemble du système d’exploitation.
Copilot est la version Microsoft de l’IA générative, et à mesure que la technologie de l’IA progresse, elle bénéficie de plus en plus de fonctionnalités et de capacités. Cette dernière fonctionnalité lui permettra de devenir un véritable assistant personnel sur votre ordinateur Windows.
Baptisée Copilot Vision, elle permettra au chatbot IA de voir. Par, Copilot Vision pourra vous guider dans l’utilisation des fonctionnalités d’Adobe Photoshop ou analyser les photos et les pages Web que vous consultez.
Pour rappel, voici les principales fonctionnalités de Copilot Vision :
- Interaction avec les applications : Copilot Vision peut assister les utilisateurs au sein des applications en mettant en évidence des boutons ou des zones spécifiques, offrant ainsi des suggestions et facilitant l’exécution de tâches. Il est important de noter que Copilot n’agit pas de manière autonome sur les applications, mais guide plutôt l’utilisateur dans ses actions.
- Contrôle de la confidentialité : Microsoft souligne que Copilot Vision n’accède au contenu de l’écran que lorsque l’utilisateur lui en donne explicitement la permission, répondant ainsi aux préoccupations liées à la confidentialité.
- Extension aux appareils mobiles : Copilot Vision est également disponible sur les applications mobiles de Copilot. En utilisant la caméra du smartphone, l’IA peut analyser l’environnement en temps réel et fournir des informations contextuelles, comme des conseils pour l’entretien des plantes ou des suggestions de décoration intérieure.
Microsoft a initialement dévoilé cette fonctionnalité pour Windows l’année dernière, lors d’un événement Copilot+. Lors de cet événement, le géant technologique a présenté une partie de Minecraft avec Copilot, un joueur qui vous observait en arrière-plan et vous donnait son avis. Désormais, la fonctionnalité devrait fonctionner avec n’importe quelle application, y compris les jeux vidéo, les logiciels de productivité et autres.
Disponibilité de Copilot Vision sur Windows 11
Copilot Vision sera d’abord proposé en version preview aux membres du programme Windows Insider, avec une disponibilité générale prévue plus tard dans l’année. Je n’ai pas pu tester Copilot Vision sur Windows via la bêta Insider, car Microsoft limite l’expérience aux testeurs américains.
Microsoft a également commencé à tester la recherche de fichiers dans Copilot sur Windows, vous permettant d’interroger l’assistant IA sur le contenu d’un fichier sur votre PC. La recherche de fichiers prend en charge les fichiers .docx, .xlsx, .pptx, .txt, .pdf et .json, et vous pouvez utiliser Copilot pour retrouver facilement les documents sur lesquels vous avez travaillé récemment.
Cette avancée marque une étape significative dans l’intégration de l’intelligence artificielle au sein de Windows 11, visant à offrir une assistance plus intuitive et contextuelle aux utilisateurs.
