Il s’appelle IMX500 et c’est le premier de son espèce, un nouveau capteur d’image de la division électronique de Sony, « Sony Semiconductors Solutions ». Ne vous fiez pas à son préfixe classique des capteurs de Sony, « IMX ».
Qu’il soit « nu » (IMX500) ou avec tous les éléments d’interconnexion (IMX501), il s’agit bien d’une nouvelle espèce de capteur. Non pas pour ce qu’il voit, mais pour ce qu’il sait.
« Il ne s’agit plus de belles images, il s’agit de données », explique la diapositive de la présentation faite à la presse sous embargo. Du point de l’image en effet, le petit capteur au format 1/2.3’’, de 12 Mpix, n’a rien d’exceptionnel, on retrouve ce genre de format et de définition d’image depuis des années dans les smartphones.
Ce qui est hors du commun chez lui, c’est que l’IMX 500 est le premier capteur d’image au monde à intégrer son propre « cerveau ». Plus précisément, en plus d’un processeur de traitement d’image (ISP), l’IMX500/501 intègre un DSP et de la mémoire afin d’effectuer lui-même tous les calculs « d’IA » généralement effectués par une puce externe.
En clair, plutôt que de faire transiter les images fixes ou animées qu’il capture vers de la mémoire externe pour que les informations soient traitées par une (ou plusieurs !) puce(s) externe(s), le capteur réalise lui-même les calculs et ne transmet que les informations importantes.
« Les avantages de cette intégration sont nombreux », explique Antonio Avitabile, Managing Director chez Sony Semiconductor Solutions Europe. « Le premier étant que la puce n’a pas besoin du cloud (ou d’une autre source externe de calcul, ndr) pour traiter les données. Si on veut rendre les machines intelligentes, il faut réduire leur dépendance au cloud pour diminuer la latence de l’analyse des images ».
Moins d’énergie, plus de vie privée
En intégrant le calcul (processing) au capteur, Sony ouvre les portes de calculs en temps réel. Des calculs qui peuvent aller de la mesure de la densité de population dans un espace, à l’analyse de la nature et de la profondeur des mouvements, etc. Le capteur disposant de sa propre puissance de calcul et de sa propre mémoire, les programmeurs peuvent charger leurs modèles d’analyse directement au sein du composant (inférence, etc.).
La vitesse d’exécution dépend évidemment de la complexité des calculs demandés.
« Je ne peux pas vous donner trop de détails quant au nombre d’opérations par seconde, mais l’IMX500 va au-delà de 1 TOPs », accepte de préciser Antonio Avitabile.
Ce traitement intégré des données a aussi comme avantage d’être moins énergivore (moins de circulation d’information, processeur optimisé pour les calculs IA) et aussi plus respectueux de la vie privée.
Plus besoin en effet de faire circuler les images des gens en clair, des images (ou des flux) qui peuvent être détournés ou piratés. Dans le cadre d’un système de comptage de clients, d’analyse de comportement, etc. seules les données interprétées sont envoyées au système et non des visages.
Galop d’essai avant la diffusion de la technologie
« Notre premier marché cible est le retail (la vente, ndr) », explique Antonio Avitabile.
Le « retail » au sens large, de l’analyse des déplacements dans les magasins jusqu’au comportement final du consommateur. Mais dans la présentation de Sony, on découvre aussi d’autre usages industriels comme la lecture de code-barre, la détection de dangers (un humain qui tombe), etc. Rien à voir pour l’heure avec la photographie.
Mais cela pourrait changer. Interrogé par 01net.com au sujet de l’arrivée prochaine de puces IA au sein des capteurs photographiques notamment dans les smartphones en tant que module d’imagerie de soutien au capteur principal, Antonio Avitabile acquiesce :
« C’est le premier capteur de ce genre et la cible est professionnelle. Mais l’idée est de développer la technologie en une gamme de capteurs intelligents. On construit et on valide le business dans un premier temps, mais oui, on peut tout à fait imaginer des usages de mix computing dans le domaine de la photo sur smartphone », conclut-il.
🔴 Pour ne manquer aucune actualité de 01net, suivez-nous sur Google Actualités et WhatsApp.
