Au cinéma, souvent, le geek souffre. Combien de fois, dans combien de films, a-t-on dû garder le silence devant l’invraisemblable, quand un héros autoritaire et omnipotent demande à un pauvre technicien de zoomer et zoomer encore sur une image jusqu’à voir le moindre détail d’un visage. Alors, magie du cinéma oblige, la photo apparaît parfaitement nette, en lieu et place de la bouillie de pixels illisibles qu’on devrait voir.
Que les nerds se réjouissent, ils pourront bientôt profiter de leur film d’espionnage sans grincer des dents… Moins vieux que le cinéma, l’apprentissage machine, branche fameuse de l’intelligence artificielle, n’en est pas moins un peu magique.
Faites entrer l’IA
A l’occasion de la keynote d’introduction des nouveaux iPad, et particulièrement de l’iPad Air, Pixelmator Team a fait à nouveau parler d’elle. Fondée par deux frères, Saulius et Aidas Dailide, la société lituanienne développe le génial logiciel éponyme de retouche d’images depuis plus de treize ans. Le 15 septembre dernier, elle a donc annoncé l’arrivée sur les tablettes d’Apple d’une fonction d’amélioration de l’image, appelée ML Super Resolution, elle permet, grâce au machine learning, d’accroître la résolution d’une image en un instant.
Comment la magie opère-t-elle ?
« Quand un algorithme classique agrandit une image, il va simplement créer de nouveaux pixels de la même couleur que le ou les pixels les plus proches », nous explique Simonas Bastys, directeur technique de Pixelmator Team.
Un peu plus élaboré, un algorithme bilinéaire, lui, va interpréter les couleurs de deux pixels et créer un nouveau pixel d’une couleur intermédiaire. Ce qui marche parfois, mais peut également aboutir à des aberrations, des déformations indésirables, qui rendent des objets impossibles à reconnaître.
ML Super Resolution emprunte une autre voie pour aller plus loin, et surtout faire mieux. L’outil « utilise la vision par ordinateur pour identifier les objets, les bordures, les formes, les couleurs, les dégradés et plus encore au sein de larges zones dans l’image », continuait notre interlocuteur.
C’est alors qu’intervient un autre modèle entraîné avec Core ML, la solution fournie par Apple pour toutes les tâches d’apprentissage machine. Une solution sans laquelle intégrer de l’intelligence artificielle dans une application serait bien trop compliqué ou consommerait bien trop de temps et d’énergie, au moins pour une société de la taille de son entreprise, commente le représentant de Pixelmator. Quoi qu’il en soit, c’est ce modèle qui « va créer de nouveaux pixels, non pas en fonction des valeurs des pixels existants mais en fonction du contenu de l’image ».
Ainsi, les pixels ajoutés le seront de telle sorte que la jambe d’une personne ne soit pas distordue, qu’une mèche de cheveux ne disparaisse pas à cause d’un nuage trop proche, bref, que la zone agrandie soit aussi fidèle que possible à la réalité.
Un poids plume pour un effet poids lourd
Et la beauté de ce modèle « intelligent », c’est qu’il ne pèse que 9 Mo une fois intégré dans l’application Pixelmator Photo pour iPad. Ce modèle est en effet le résultat d’un entraînement sur un serveur dédié, où l’algorithme a appris à faire face à des images qui intègrent des effets de transparence, des artefacts de compression, du bruit numérique produit au moment de la prise du cliché par un appareil photo, etc. Il est même capable de travailler avec les fichiers RAW, à savoir l’équivalent du négatif numérique d’une photo. ML Super Resolution est alors capable de préserver les données de la plage dynamique étendue pour ne pas altérer les couleurs affichées.
Il a fallu environ un an et l’attention de la plupart des 20 développeurs qui travaillent pour Pixelmator Team pour arriver à développer et tester ce nouvel outil. Si c’est la troisième version de l’algorithme qui est embarquée dans l’application, le facteur limitant pour l’instant n’est pas à chercher du côté du logiciel mais bien de la puissance de calcul.
« Alors que les appareils et les processeurs graphiques deviennent plus puissants, nous pouvons utiliser plus de cette puissance et créer des algorithmes plus complexes et intelligents », nous explique Simonas Bastys. « Cet algorithme en particulier peut prendre plusieurs minutes à traiter une photo sur un vieil ordinateur. »
C’est bien pour ça que la Pixelmator Team a attendu l’arrivée de l’Apple A14. Car, sans qu’ils puissent ou veuillent en parler, il est évident que les développeurs de Pixelmator ont tissé des liens étroits avec Apple et ont eu accès à la puce bien avant son annonce.
En l’espèce, le processeur graphique n’est pas le seul élément qui leur a fait de l’œil. « Le Neural Engine de l’A14 est environ deux fois plus rapide pour exécuter les modèles de machine learning », met en perspective le directeur technique de Pixelmator Team. Ce progrès matériel s’accompagne également d’une avancée supportée par le logiciel, puisque les dernières versions des OS mobiles d’Apple, iPadOS et iOS 14, traitent trois fois plus vite les requêtes ML. Et ce n’est pas un luxe, car cette approche reposant sur le machine learning sollicite 8 à 62 fois plus de puissance de calcul que les méthodes utilisées jusqu’à présent…
Autrement dit, sur un iPad plus ancien et avec une version précédente d’iPadOS, utiliser ML Super Resolution demandera beaucoup plus de temps, et l’agrandissement maximal de l’image sera moindre. L’effet collatéral d’une puissance de calcul réduite. On comprend donc que « cela n’aurait pas été très pertinent de lancer une telle fonction quand l’expérience offerte pour beaucoup d’utilisateurs aurait été décevante ».
Le meilleur des effets des films d’espionnage dans son iPhone ?
Se pose toujours cette question d’équilibre à trouver entre l’envie de tirer parti du meilleur du machine learning et des capacités des plates-formes grand public qui font tourner les algorithmes. « A l’heure actuelle, nous pourrions créer des algorithmes plus puissants, mais ils seraient trop lents pour être utilisables dans un logiciel grand public », nous confie Simonas Bastys. Il faudra donc attendre une prochaine génération de puce Apple Silicon pour voir Pixelmator devenir encore plus intelligent et bluffant.
Mais d’ici là, on peut en profiter sur les iPad récents et sur les Mac, dans l’application Pixelmator Pro, où la fonction est présente depuis le début d’année. « Mais en matière de performances, si vous avez besoin que l’outil fonctionne rapidement, vous aurez besoin d’un Mac plutôt puissant », concède notre interlocuteur.
De fait, sur un MacBook Pro 13 pouces de 2020, on a le temps d’attendre quelques minutes et d’entendre les ventilateurs travailler avant que l’outil ait fini son ouvrage pour une seule photo. Par effet de bande, c’est là aussi qu’on prend conscience de la puissance et de l’optimisation des puces d’Apple.
Quel est le prochain projet de la Team Pixelmator ? « Actuellement, nous sommes très enthousiastes à l’idée de porter Pixelmator Photo avec la fonction ML Super Resolution sur l’iPhone. », nous répond-on. Comme par hasard, les iPhone 12 embarqueront l’A14 et son Neural Engine…
Il sera alors possible d’agrandir sans trop perte de qualité apparente les photos prises par l’iPhone directement sur le smartphone. La fonction ML Super Resolution sera alors encore plus mobile et donc encore plus bluffante.
Il est bien possible qu’on entende à nouveau parler de ces Lituaniens lors de la keynote d’Apple, le 13 octobre prochain.
🔴 Pour ne manquer aucune actualité de 01net, suivez-nous sur Google Actualités et WhatsApp.
