L’IA sait comment faire un spectacle tape-à-l’œil, bien sûr, en générant des images réalistes à partir de rien (en apparence), mais ne vous laissez pas distraire par certaines de ses utilisations utilitaires toujours très cool. Nous avons vu comment l’IA peut vous aider à rédiger un courriel ou même à résumer un courriel que vous avez reçu, mais il est facile de travailler avec du texte. Qu’en est-il de la capacité de l’IA à extraire des données lisibles par machine à partir d’images, à organiser ces données et à les utiliser pour répondre à vos questions ? C’est exactement ce que Google fait avec la nouvelle famille Pixel 9, en vous permettant de préparer vos propres petites archives personnelles avec Pixel Screenshots.
Annoncée lors de l’événement Made by Google, Pixel Screenshots fait ses débuts en tant que toute nouvelle application sur les smartphones de la série Pixel 9. Nous entendons parler de travaux sur celle-ci depuis un certain temps, souvent en termes de comparaison avec la controversée fonctionnalité Recall de Microsoft.
Si vous optez pour son traitement IA, l’application analysera chaque capture d’écran que vous enregistrez avec votre téléphone. Elle le fait sur l’appareil grâce à la puissance de la nouvelle puce Tensor G4 de Google, ce qui devrait permettre d’atténuer certains problèmes de confidentialité. En effet, Pixel Screenshot utilise le modèle d’IA privé Gemini Nano de Google, installé sur l’appareil, pour analyser le contenu d’une image et le rendre consultable.
Si vous êtes curieux de savoir ce que vous avez fait sur votre smartphone il y a plusieurs mois et que vous pensez avoir enregistré une capture d’écran pertinente au même moment, il vous suffira de demander à Gemini s’il peut faire le lien.
Vous obtiendrez non seulement une réponse directe à votre question, mais votre smartphone vous montrera également la capture d’écran spécifique qu’il utilise pour générer cette réponse – un bon moyen de vérifier si vous obtenez des résultats bizarres ou si vous souhaitez simplement obtenir plus de contexte.
Pixel Screenshots sera uniquement disponible sur la série Pixel 9
Lors d’une démonstration à l’occasion du lancement du Pixel, Google a montré comment vous pouviez prendre une capture d’écran et l’enregistrer dans une collection, par exemple « idées de cadeaux ». Vous pouvez également effectuer une recherche parmi toutes vos autres captures d’écran en saisissant un mot clé, comme « vélos » ou « chaussures ». Pixel Screenshots affichera alors tous les résultats pertinents. En outre, Pixel Screenshots peut vous donner des informations sur ce qui se trouve à l’intérieur d’une image. Ainsi, si vous cherchez le prix d’une chemise que vous avez capturée, vous pouvez taper « prix t-shirt » et Pixel Screenshots extraira les informations de vos captures d’écran pour faire apparaître une réponse.
Si vous changez d’appareil et avez envie d’importer tout un tas d’anciennes captures d’écran, Pixel Screenshots sera également en mesure de les traiter, mais ce n’est pas le cas par défaut.
Bien sûr, pour tirer le meilleur parti de Pixel Screenshots, il faudra d’abord que vous preniez des captures d’écran – et ce n’est peut-être pas un comportement que nous avons tous déjà adopté. Mais une fois que vous aurez pris l’habitude de le faire, ce nouvel outil semble avoir le potentiel d’améliorer la façon dont vous accédez à vos propres informations.
Pour rappel, l’application ne sera disponible que sur les appareils Pixel 9.
