Bing Chat, ChatGPT et d’autres outils d’IA générative analogues se sont principalement concentrés sur la compréhension du contenu textuel et la fourniture de réponses. Cependant, il est également très utile de comprendre les images, et c’est ce que Microsoft est en train de déployer dans son IA Bing Chat.
Dans un récent article de blog annonçant Bing Chat Entreprise, Microsoft a annoncé une nouvelle fonctionnalité pour Bing Chat, appelée Visual Search. Avec Visual Search, vous pouvez télécharger une image ou sélectionner une image existante sur le Web, et Bing essaiera de la comprendre et d’utiliser ce contexte dans ses réponses. La vidéo de démonstration de Microsoft (intégrée ci-dessous) montre quelqu’un qui télécharge une maquette dessinée à la main d’un formulaire Web et demande à Bing de générer du code HTML et CSS pour le rendre fonctionnel.
Microsoft explique dans son article de blog : « Que vous soyez en vacances dans une nouvelle ville et que vous posiez des questions sur l’architecture d’un bâtiment particulier où que vous soyez à la maison et que vous essayiez de trouver des idées de repas en fonction du contenu de votre réfrigérateur, téléchargez l’image dans Bing Chat et utilisez-la pour exploiter les connaissances du Web afin d’obtenir des réponses ».
Les logiciels capables de détecter le contenu des images ne sont pas nouveaux. Google Lens est capable d’identifier des personnes, des animaux, des plantes, des points de repère et d’autres objets dans des photos depuis 2017, et son prédécesseur plus limité Google Goggles remonte à 2010. Microsoft utilise les fonctionnalités de détection d’images de GPT-4, qui est le même modèle de langage utilisé par la version premium de ChatGPT. Cependant, les entrées d’images ne sont pas encore disponibles dans ChatGPT, c’est donc la première fois que nous voyons cette fonctionnalité largement disponible.
J’ai essayé la recherche visuelle avec quelques photos, et les résultats sont impressionnants. En demandant à Bing de décrire des images, vous obtenez des réponses beaucoup plus détaillées que celles fournies par Google Lens.
Vous pouvez tester la fonctionnalité en ouvrant Bing Chat dans Microsoft Edge (Microsoft la bloque toujours dans les autres navigateurs) et en cliquant sur l’icône du contour de l’appareil photo dans le champ de texte.
