La plateforme porte le nom de Frankenphone et les résultats sont incroyables. Google a décrit la façon dont ils ont créé leur mode portrait pour la caméra du Pixel 3 avec un étrange appareil. Ce que vous voyez ci-dessus, c’est cet appareil. En réalité, ce sont cinq appareils Pixel 3 connectés ensemble dans une seule machine capable de collecter des informations visuelles pour former tous les futurs smartphones Pixel.
La semaine dernière, Google a expliqué comment il était possible de transformer un ensemble complexe de variables en un système de caméra capable de prédire de manière extrêmement précise la profondeur à laquelle un objet provient d’une caméra d’un Pixel 3.
Pour ce faire, la société a eu recours à l’apprentissage automatique afin de créer un produit final intelligent pouvant améliorer tous les smartphones Pixel. Et, Google a commencé avec un ensemble de « perception de la profondeur ».
Le géant du Web a utilisé trois sortes d’indices de profondeur combinées au nombre considérable d’objets appris par des sources telles que Google Photos et Google Recherche, etc. Ces images sont des « objets de tous les jours » reconnus par la machine. En mélangeant toutes ces sources, l’algorithme d’appareil photo de Google est beaucoup plus intelligent.
Pour enseigner le système de Google, le géant de la recherche a créé le Frankenphone, un appareil permettant de prendre des photos à partir de 5 smartphones Pixel 3. Synchronisés, les objectifs de ce méga-téléphone ont été en mesure de capturer cinq fois plus de données de profondeur, permettant ainsi au produit final de fournir des informations beaucoup plus détaillées sur les objets de la photo qu’elles n’auraient jamais obtenues.
De belles photos en mode Portrait
Grâce à ces informations, le système de Google permet de mieux prédire la taille des objets du quotidien et leur distance relative par rapport à la caméra. Des angles multiples sur un même sujet — comme un être humain — donnent également au système davantage d’informations sur les nombreuses positions dans lesquelles un être humain peut être assis ou debout, etc.
En utilisant l’information résultante, Google est capable d’exécuter des photos PDAF à travers un réseau neuronal convulsif pour produire une carte de profondeur précise. Avec ces informations, la photo finale peut être révélée, avec un flou autour du sujet principal, créant ainsi une sorte de « portrait professionnel ». Toutes ces informations sont traitées et retournées pour permettre au Pixel de mieux prédire la profondeur dans les photos capturées avec le Pixel que vous avez dans votre main en ce moment.
Il en résulte de belles photos en mode Portrait, mais cela permet également à l’application Google Photos de réajuster les photos après la capture. Ouvrez une photo en mode Portrait dans la version la plus récente de Google Photos. Vous devriez également avoir la possibilité de modifier le flou et le point de focus, ce qui est génial ! Pour plus d’informations à ce sujet, consultez le blog de Google AI.
