C’est un petit bout de puce qui va faire saliver les amateurs d’image. Intégré dans le nouveau processeur haut de gamme de Qualcomm, le Snapdragon 888, il existe un petit espace bourré de transistors organisés en une unité qui répond au nom énigmatique de Spectra 580. Une « puce » dans la puce, qui a pour charge de piloter les fonctions photo et vidéo du system-on-a-chip.
L’an dernier, le Spectra 480 avait déjà défrayé la chronique avec le chiffre astronomique de deux milliards de pixels traités par seconde – sans même parler de la vidéo 8K, de la 4K à 120 i/ et autres raffinements. Un an plus tard, le Spectra 580 fait logiquement mieux. Mais il ne se contente pas de d’augmenter le nombre de pixels traités : il apporte des capacités et fonctionnalités inédites.
Un processeur = trois ISP
Dans un SoC pour smartphone (System on a Chip, puce tout-en-un), la partie dédiée à la photo est appelée ISP pour processeur d’image (image signal processor). Si c’était vrai à l’époque des premiers modules caméra, cette appellation porte désormais à confusion, car l’ISP Spectra 580 embarque non pas un, mais trois ISP ! Qui peuvent s’appuyer sur une puissance de calcul en hausse de 35%, soit jusqu’à 2,7 milliards de pixels traités par seconde.
Cinquième représentant de la lignée « Spectra » qui embarquait jusqu’à présent deux ISP, le Spectra 580 est, à notre connaissance, le premier ISP à pouvoir capturer simultanément 3 flux photo/vidéo. Si l’ISP de l’iPhone peut afficher les flux de toutes ses caméras, il ne peut, même dans l’iPhone 12, n’en enregistrer deux.
Au maximum, le Spectra 580 peut, grâce à sa super puissance de calcul, enregistrer les flux vidéo de trois modules caméra de 28 Mpix max chacun. De quoi capturer trois flux 6K sans aucun ralentissement – c’est la mémoire de stockage qui a intérêt de suivre ! En vidéo, cette technologie permet des usages multi-angles : une caméra frontale pour l’interviewer par exemple, un plan large et un plan serré sur l’interviewé. Le rêve des reporters !
La promesse d’un zoom continu
Cette gestion simultanée de trois modules promet aussi un bond en avant de la qualité et l’ergonomie des zooms « optiques ». Dans les processeurs d’image classiques à double ISP, seules deux caméras peuvent être branchées de concert lors de l’enregistrement. Il faut donc développer des algorithmes qui basculent intelligemment du module téléobjectif au module ultra grand-angle quand le terminal détecte l’opération de zoom/dézoome.
Avec le Spectra 580, les fabricants de smartphones ont désormais le pouvoir de développer des apps qui peuvent brancher trois modules de manière simultanée et profiter d’un zoom « optico numérique » linéaire et non plus avec des sauts visibles lors de la bascule d’un module à l’autre. Nul doute que cela demandera du travail pour calibrer parfaitement les transitions. Mais au moins ils ont la puissance nécessaire pour réaliser cette opération.
2,7 milliards de pixels par seconde
Nous l’avons dit plus haut, le Spectra 580 de ce Snapdragon 888 profite d’une puissance de traitement en hausse de 35%, ce qui permet de passer de 2 milliards (SD865) à 2,7 milliards de pixels par seconde. Ce qui ne veut pas dire que les constructeurs peuvent intégrer des capteurs aussi riches : le Spectra 580 ne gère « que » les capteurs de 200 Mpix et différentes combinaisons de deux ou trois modules simultanés.
Outre la capture de trois flux de concerts, cette puissance a des avantages en matière de débit de trame puisque la rafale maximale mono capteur est de 120 images de 12 Mpix en une seconde, soit 1,44 Gpix en continu, du jamais vu dans le monde des smartphones… comme dans celui de la photo ! À titre de comparaison, l’appareil proposant la rafale continue la plus performante du monde des appareils photo est le Sony Alpha A9 qui se contente de rafale de 24 Mpix à 20 i/s, soit « seulement » 0,48 Gpixel.
4K HDR computationnelle
Cette puissance de calcul permet au Spectra 580 de proposer une fonctionnalité inédite : la possibilité d’améliorer la plage dynamique. Si cela fait longtemps que le monde des smartphones profite de capteurs à haute plage dynamique (capteurs HDR), Qualcomm profite de la puissance de sa puce pour étendre encore un peu plus la plage de perception des capteurs.
Au lieu de capter, disons 30 images par seconde, le Spectra 580 peut capturer 3 expositions différentes de chacune de ces images (soit 90 images) et les combiner en 30 images à la plage dynamique étendue. De quoi pallier une des faiblesses naturelles des petits capteurs, dont la plage dynamique « matérielle » est physiquement inférieure à celle des grands capteurs.
Imagerie et IA en version instantanée
Perdue entre les millions (milliards !) de pixels des différentes combinaisons de modules caméras supportés, une mention est très importante dans les spécifications du Spectra 580 : peu importe qu’il gère un, deux ou trois modules caméra, ce nouveau super processeur ne souffre sur le papier d’aucune latence.
C’est-à-dire que si l’image affichée est au point, le déclenchement est instantané sur tous les ISP. Cela est non seulement dû à la puissance du processeur d’image, mais aussi à la qualité et la rapidité de sa communication avec le processeur IA.
L’Hexagon 780, chef d’orchestre de l’intelligence du Snapdragon 888, est en effet en permanence branché sur le Spectra 580. Ce qui fait que non seulement les opérations d’imagerie du Spectra (mise au point, balance des blancs, exposition, etc.) mais aussi les opérations d’IA (reconnaissance des visages, calculs HDR, applications de flou d’arrière-plan) s’opèrent en temps réel.
Lutter contre la manipulation des images
On ne vous fera pas un cours : entre la banalisation de Photoshop, des filtres de retouche IA et les deeepfakes, il est de plus en plus difficile de croire les images que l’on voit. Si cela pose des problèmes sérieux en matière de santé publique dans le cas de la retouche de l’image des femmes (et des hommes) dans les magazines, cette défiance vis-à-vis de l’image est un cauchemar total pour les informations générales de type guerre, violences, manipulation de la parole politique, etc.
Le Snapdragon 888 est compatible avec l’Initiative d’authenticité du contenu (Content Authenticity Initiative, ou CAI) initiée par l’éditeur de logiciel Adobe et le New York Times, un cadre technique permettant d’authentifier les contenus photo ou vidéo. Les fichiers certifiés embarquent les données de date et heure, de lieu, et. ainsi que des marqueurs numériques qui s’altèrent en cas de retouche ou manipulation.
Du point de vue technique, le framework logiciel de la CAI s’appuie sur le couple Spectra 580 + processeur de sécurité pour intégrer en dur les informations dans les fichiers. Ce qui va permettre à des éditeurs logiciels comme Truepic, partenaire de Qualcomm sur cette annonce, de développer des apps d’imagerie certifiées.
Une certification matérielle et logicielle qui peut par exemple être profitable au milieu des assurances – l’app de votre assureur intègrera un module photo pour déclarer un sinistre et être sûr à 100% de la véracité de l’image capturée – ou encore à la presse. Une presse qui pourra, côté rédaction, vérifier la nature des images envoyées par ses journalistes et par ses sources tierces.
Si le Spectra 480 avait secoué l’industrie par sa puissance, le Spectra 580 repousse non seulement ces limites, mais se pose en référence technique en matière de fonctionnalités. Mais il n’est qu’un moteur, et il appartient aux partenaires matériels et logiciels de Qualcomm de s’en emparer convenablement. Quel sera le premier à terminal révéler son plein potentiel ? La réponse en 2021.
🔴 Pour ne manquer aucune actualité de 01net, suivez-nous sur Google Actualités et WhatsApp.
