La photo est LE principal terrain de bataille technologique des smartphones. Si les acheteurs regardent évidemment le prix et l’endurance de la batterie, la puissance actuelle des puces et la qualité des écrans sont telles, que la vraie guerre se fait sur les qualités d’image – photo et vidéo. Dans ce domaine, Oppo a pris le parti de la « puce sur mesure » en développant son propre processeur d’image.
Attention, il ne s’agit pas d’un processeur tout-en-un, un SoC. Sur ce point, Oppo devrait continuer à utiliser un Snapdragon, de Qualcomm, dans ses futurs fleurons. Non il est bel et bien question d’un processeur uniquement dédié à l’image. Avec comme argument de poids des unités de calculs entièrement pensée pour l’exécution des algorithmes « IA ».
Un monstre d’iA-maging
Des ISP et des puces IA, internes comme externes, ont en a vu plein. Mais des puces couplant ISP et IA, beaucoup moins. Officiellement, une seule même : le Pixel Visual Core (PVC). Lancé il y a quatre ans et co-développé par Google et Intel, la puce accélérait le traitement d’image et l’application des algos IA. Mais le MariSilicon X est d’une tout autre ampleur…
Alors que le PVC de Google était une puce gravée en 28 nm qui annonçait être « de 7 à 16 fois plus efficace que le Snapdragon 835 », le MariSilicon X, d’Oppo, évolue dans un autre monde.
Gravé en 6 nm par TSMC (plus de quatre fois plus finement), il se revendique vingt plus rapide et presque trois fois plus efficace sur l’application d’algorithmes IA sur de la vidéo 4K que le NPU du Snapdragon 888 intégré dans l’Oppo Find X3. Nous tenons généralement ce genre d’annonces avec des pincettes, les concepteurs de puces restant très évasifs sur la structure de leurs produits. Seulement là, à moins d’un ratage total, Oppo a développé des arguments convaincants.
Énorme besoin de de puissance
Oppo dit avoir développé des algorithmes très complexes et regrettait de ne pas avoir assez de « jus » pour les exécuter. Citant l’impossibilité d’appliquer un traitement d’image avancé sur de la vidéo 4K – ses algorithmes travaillaient à 2 fps en consommant 1,7 W. Ce qui ne paraît pas délirant : il suffit de voir, quand on teste de nombreux terminaux côte à côte comme c’est le cas pendant notre Top10 des smartphones photo. Si la photo est prise instantanément, la plupart des terminaux ont besoin d’un temps de calcul – c’est assez prégnant avec les Pixels de Google – avant de pouvoir afficher une photo avec des traitements effectués.
Alors pour calculer un flux vidéo à 30 voire 60 images par seconde, il faut plus de puissance. C’est pourquoi le Chinois a développé une puce spécifiquement au traitement d’un flux brutal (lire plus loin) de données.
Pour faire la différence, la puce MariSilicon X intègre son propre contrôleur mémoire, sa propre mémoire dédiée, un processeur neuronal, un processeur d’image et ses propres pipelines de connexion aux modules caméra. Une des « armes » de cette puce est le fait que le NPU accède à une mémoire interne certes limitée en capacité, mais de manière ultra rapide – de l’ordre du térabit par seconde.
Cette proximité entre la mémoire de travail et le NPU permet de réduire la latence et la consommation électrique de manière phénoménale. Tandis que l’interconnexion directe entre le NPU et l’ISP a la même vertu : plus de proximité et de spécialisation impliquent plus de rapidité et d’efficacité de calcul.
20 bit et travail sur le flux RAW
Vous vous souvenez du Snapdragon 8 Gen 1 qui, pour la première fois de l’histoire des smartphones (voire des appareils photo), intègre un ISP travaillant les images sur 18 bit ? Eh bien Oppo affirme aller plus loin en travaillant les couleurs non pas sur 18 bit, mais sur 20 bit !
S’il se pose la question des dispositifs d’affichages capables de tirer parti d’une telle largeur de palettes de couleurs, il faut tout de même reconnaître que plus on échantillonne large, plus on dispose de données pour être précis dans le fichier JPEG ou HEIF de sortie.
Mais l’arme colorimétrique d’Oppo va plus loin. Son NPU-ISP est capable d’effectuer 18 000 milliards d’opérations par seconde (plus exactement des calculs de tenseurs, les TOPS = Tensor Operations Per Second), il a donc suffisamment de puissance pour travailler directement sur le flux RAW sortant du capteur.
En clair : plutôt que d’appliquer des algorithmes d’amélioration d’image sur un flux déjà compressé et codé en informations de luminance et chrominance, le MariSilicon X avale et traite en temps réel un flux 4K RAW 20 bit. Il profite donc du maximum d’informations pour proposer une précision d’image, une plage dynamique et un échantillonnage des couleurs inédits. La promesse d’Oppo est ici assez stupéfiante.
Une future référence de la qualité d’image ?
Que penser du MariSilicon X ? Tout d’abord que Oppo semble avoir travaillé son sujet plus que sérieusement. Plutôt que de développer un SoC de zéro le Chinois, qui est désormais le fleuron des constructeurs de l’Empire du Milieu depuis le torpillage américain de Huawei, s’est concentré sur un élément à forte valeur ajoutée – la photo et la vidéo. Il a développé une puce qui, sur le papier, a de quoi permettre de grandes avancées en matière de qualité d’image.
La question étant tout de même de savoir si les petits capteurs de smartphone en ont encore beaucoup sous le pied – il s’agit là d’une question ouverte. Un élément de réponse est à chercher du côté du capteur RGBW « maison » qu’Oppo annonce en même temps que son processeur.
À découvrir aussi en vidéo :
Ces promesses entraînent de grandes attentes et posent de nombreuses questions. Oui, l’ISP-NPU d’Oppo consomme moins sur des tâches spécifiques, mais cela ajoute tout de même une puce supplémentaire à alimenter sur la carte mère (et cela prend de la place). Par ailleurs, et surtout, quid de la qualité de l’implémentation logicielle ? Est-ce que les composants mobiles seront au niveau du potentiel de la puce ? Et, enfin, quelle sera la définition du capteur qu’Oppo a intégré dans le premier terminal qui embarquera le MariSilicon X – le futur fleuron 2022 prévu au printemps prochain ?
Impossible d’apporter des éléments de réponse sans un terminal en main, mais il faut reconnaître à Oppo le panache d’une annonce très technique.
🔴 Pour ne manquer aucune actualité de 01net, suivez-nous sur Google Actualités et WhatsApp.
