Dans un long billet sur le blog de sa division liée à l’IA, Google dévoile les dessous de la fonctionnalité phare de ses smartphones Pixel : Portrait light. Lancée avec les Pixel 5 et désormais disponible sur tous les terminaux de la marque à partir du Pixel 2 par le biais d’une mise à jour, Portrait Light permet de donner vie aux visages en modifiant leur éclairage.
Loin d’être un simple filtre, Portrait Light est le fruit d’une recherche commune entre quatre équipes de Google : Google Research, Google Daydream, Pixel et Google Photos. Il faut dire que le développement de cette fonctionnalité a nécessité un travail énorme.
D’abord, les développeurs ont développé et entraîné par apprentissage machine un système capable de créer un profil d’illumination omnidirectionnel d’une photographie. Un genre de « cartographie » de la lumière d’une scène qui permet de déterminer toutes les composantes de la lumière (intensité, couleurs, direction).
Ensuite, en s’appuyant sur ce modèle, s’applique un système qui évalue la pose et les reliefs et volumes du visage humain détecté. En couplant ces deux « cartes », celle de la lumière et celle du visage, le programme détermine automatiquement la meilleure position d’une lumière d’appoint qui améliore la qualité du portrait.
Et c’est là que la magie a nécessité encore beaucoup de travail : pour choisir quelle est la meilleure lumière possible (position, direction, intensité), les ingénieurs de Google ont utilisé un « Light Stage » une sphère intégrant 331 LED programmables et 64 appareils photo qui ont photographié pas moins de 70 personnes avec des traits différents – couleur de peau, forme de visage, type de peau, type de cheveux, etc.
Des millions d’images qui ont servi de base pour entraîner une IA capable de non seulement sélectionner la meilleure lumière – qui reste modifiable par l’utilisateur – mais aussi appliquer le modèle en temps réel sur la base des deux « cartographies » de lumière et de forme de visage originales.
Le niveau de travail, de technicité et de science – algorithmes, création de modèles, gestion des lois de l’optique, etc. – de la fonctionnalité est absolument énorme. Tout ça pour ajouter une fonction à l’application caméra qui vise à donner plus de vie à vos portraits !
Source : Google AI Blog
🔴 Pour ne manquer aucune actualité de 01net, suivez-nous sur Google Actualités et WhatsApp.
