L'avenir des caméras

L'évolution de la technologie des caméras industrielles et des capteurs d'image utilisés pour les applications de vision artificielle, telles que l'inspection des écrans plats, des cartes de circuits imprimés (PCB) et des semi-conducteurs, ainsi que la logistique des entrepôts, les systèmes de transport intelligents, la surveillance des cultures et la pathologie numérique. a imposé de nouvelles exigences aux caméras et aux capteurs d'image. Le principal d'entre eux est la nécessité d'équilibrer le disque pour une résolution et une vitesse plus élevées avec une consommation d'énergie et une bande passante de données plus faibles. Et dans certains cas, il y a aussi une poussée pour la miniaturisation.

À l'extérieur, une caméra est logée avec des éléments de montage et des optiques. Bien que cela soit important pour l'utilisateur, il existe des défis substantiels à l'intérieur qui affectent les performances, les capacités et la consommation d'énergie. Le matériel, comme les capteurs d'image et le processeur, ainsi que les logiciels jouent ici un rôle clé.

D'après ce que nous savons, quels changements verrons-nous dans les caméras, les processeurs, les capteurs d'image et le traitement au cours de la prochaine décennie ? Et comment affecteront-ils notre qualité de vie ?

Lorsque vous choisissez une nouvelle voiture, une taille unique ne convient pas à tous. Il en va de même pour les capteurs d'image.

Il est vrai que des capteurs d'images toujours plus grands et plus puissants sont très attractifs pour certaines classes d'applications de vision haute performance. Dans ces cas, la taille, la consommation électrique et le prix des capteurs d'image utilisés dans ces applications ne sont pas aussi importants que les performances. L'inspection des écrans plats en est un bon exemple. Certains fabricants d'écrans plats recherchent désormais des défauts inférieurs au micron dans les écrans de qualité supérieure. C'est littéralement assez petit pour détecter les bactéries sur l'écran.

Les applications d'astronomie au sol et dans l'espace exigent des performances encore plus élevées. Des chercheurs du SLAC National Accelerator Laboratory du département américain de l'Énergie ont présenté une solution d'imagerie de 3 gigapixels, équivalente à des centaines de caméras actuelles, utilisant un réseau de plusieurs capteurs d'image plus petits. Selon le SLAC, "la résolution des images est si élevée que vous pourriez voir une balle de golf à environ 15 miles de distance". Nous pouvons déduire de cette réalisation remarquable que l'avenir de ce que les laboratoires de recherche du monde peuvent réaliser est presque illimité.

Les membres de l'équipe de la caméra LSST du Large Synoptic Survey Telescope se préparent à l'installation de l'objectif L3 sur le plan focal de la caméra, un réseau circulaire de capteurs CCD capables d'images de 3,2 mégapixels. Image via Jacqueline Ramseyer Orrell/Laboratoire national des accélérateurs SLAC

Mais quelle que soit la résolution, nous pouvons voir que l'imagerie 2D bien établie commence à manquer de capacité. Les systèmes d'inspection optique avancés n'exigent pas réellement une vitesse plus élevée ou plus de données. Ils demandent plus et seulement des informations utiles.

Une poignée de tendances autour de la quantité toujours croissante d'informations requises pour chaque pixel gagne du terrain.

La capture d'images 3D offre une dimension supplémentaire offrant plus de granularité, de détails et de capacité de détection. Des applications telles que l'inspection des batteries ou, encore une fois, la fabrication d'écrans de télévision/ordinateur portable/téléphone pilotent des capteurs d'inspection optique pour recueillir encore plus d'informations. Dans ce cas, même trouver des défauts 2D à une résolution inférieure au micron devient insuffisant, nous obligeant à déterminer leur hauteur et peut-être même leur forme pour déterminer si les images sont affectées par de la poussière nettoyable, des particules dures ou des aiguilles parmi d'autres particules.

Les développeurs d'applications utilisent avec diligence les couleurs, les angles et différentes modalités d'imagerie, comme la 3D ou la polarisation, qui est encore une autre dimension de la lumière, pour répondre aux besoins de leurs clients. À leur tour, les fabricants d'appareils photo travaillent dur pour fournir les outils nécessaires au commerce.

L'imagerie hyperspectrale est une autre tendance qui se renforce rapidement. Comme la plupart des techniques de télédétection, l'imagerie hyperspectrale utilise le fait que tous les objets, en raison de leurs structures électroniques (pour le spectre visible) et moléculaires (pour le spectre SWIR/MWIR) possèdent une empreinte spectrale unique, basée sur les longueurs d'onde de lumière visible et invisible qu'ils absorbent et réfléchissent. Cela révèle une multitude de détails non visibles avec les systèmes d'imagerie couleur normaux (par exemple, humain ou caméra). La capacité de "voir" la chimie dans les matériaux a de nombreuses applications dans l'exploration minérale, gazière et pétrolière, en astronomie et dans la surveillance des plaines inondables et des zones humides. Une résolution spectrale, une séparation et une vitesse élevées sont utiles dans l'inspection des plaquettes, la métrologie et les sciences de la santé.

Sur ces marchés, les fabricants de capteurs et de caméras repoussent les limites en matière de vitesse, de coût, de résolution et de capacité. Nous élargissons notre technologie dans la gamme spectrale, couvrant la détection d'énergie qui commence par les rayons X et se termine par une imagerie thermique très précise, permettant ainsi à davantage d'applications d'accéder à ces technologies. Cette inspection plus minutieuse, plus rapide et plus précise aide les fabricants à introduire une inspection à 100 % sur, par exemple, les produits alimentaires, la recherche de contaminants, la mesure du contenu et le dépistage des bactéries d'origine alimentaire.

Le traitement d'images est par nature gourmand en données. Les imageurs haute résolution, fonctionnant à des fréquences d'images extrêmement élevées aujourd'hui, peuvent produire plus de 16 Go/s de données continues. Les applications nécessitent alors de capturer, d'analyser et d'agir sur ces données. L'urgence de l'intelligence artificielle (IA) repousse encore les limites des besoins de traitement.

Prenons l'exemple d'une caméra basée sur l'IA pour le contrôle des feux de circulation.

En règle générale, ces applications utilisent dans la gamme d'un capteur de 10 mégapixels, fonctionnant autour de 60 images par seconde. Cela fournit un flux de données continu de seulement 600 Mo/s de données.

Le traitement typique des réseaux neuronaux repose aujourd'hui sur l'utilisation de petites images, de l'ordre de 224x224 pixels en couleur = 3*50 kilo pixels à 3*1 octet par pixel (150 Ko par image). Le processeur d'un PC moderne peut permettre à un réseau neuronal de reconnaissance d'objets de fonctionner à 20 images par seconde, atteignant un débit de données d'environ 3 Mo/s. Il s'agit d'un débit de données 200 fois inférieur à celui des caméras de circulation, limitant ainsi les possibilitéssaisirflux de données sévèrement.

Les solutions de trafic intelligent peuvent combiner des caméras vidéo et thermiques avec l'intelligence artificielle, l'analyse vidéo, le radar et V2X avec un logiciel de gestion du trafic et d'analyse de données pour aider les villes à fonctionner en toute sécurité et en douceur. Images via Teledyne FLIR

Il est important de noter que lesortir le flux doit être considéré comme une information, pas seulement comme une donnée brute. A l'instar d'un flux d'images de 600 Mo/s, le système effectue un suivi, une lecture et un traitement pour obtenir quelques nombres par scène. Nous pourrions voir une plaque d'immatriculation ou, dans une application de tri, même simplement "éjecter : oui ou non", réduisant l'énorme flux de données à un seul bit.

Bien que ce ne soit pas une tâche facile, si elle est réalisée, elle sera très attrayante pour la capture, le traitement et le stockage des données en aval. Pour résoudre ces restrictions de flux de données d'entrée, nous devons combiner une ingénierie intelligente des capteurs, des processeurs d'IA avancés et des solutions algorithmiques intégrées.

La grande majorité des caméras utilisent des semi-conducteurs traditionnels, tels que les unités centrales de traitement (CPU) ou les matrices de portes programmables par l'utilisateur (FPGA). Les unités plus puissantes peuvent utiliser des FPGA ou des unités de traitement graphique (GPU) plus puissants. Jusqu'à présent, ces types de processeurs ont pu suivre la loi de Moore, mais les performances passées ne garantissent pas l'avenir.

De plus, les GPU, les CPU et les FPGA consomment beaucoup d'énergie et, par conséquent, génèrent beaucoup de chaleur. Dans une certaine mesure, cela peut être géré avec une bonne conception, mais nous aurons besoin d'un processeur et d'une architecture de traitement alternatifs pour résoudre les problèmes à long terme.

L'informatique quantique et les processeurs photoniques/électroniques intégrés s'alignent pour répondre aux exigences de performances/puissance les plus exigeantes de toute application de traitement d'images.

Cependant, jusqu'à ce que ces technologies deviennent disponibles et commercialement réalisables, les nouvelles architectures de processeur, telles que le calcul en mémoire ou l'accélération dédiée intégrée, continueront de repousser les limites de ce qui est possible.

Principalement, les fabricants doivent prendre en compte les téraopérations par seconde par watt (TOPS/W) lors de la sélection du bon processeur pour leur système. Bien qu'il s'agisse d'un facteur de mérite utile pour l'efficacité énergétique brute, nous devons nous rappeler que l'exigence finale est en fait le nombre de décisions par watt, une métrique qui n'existe pas encore.

Du côté du traitement, poussé par des géants comme Microsoft, Apple et Google, nous constatons des progrès dans les algorithmes, à la fois en termes de vitesse et de capacité. Les solutions basées sur l'IA deviennent plus légères, mais plus performantes et plus étendues. Les solutions traditionnelles basées sur des algorithmes utilisent des architectures de processeur modernes avec une plus grande efficacité. La disponibilité d'outils logiciels commerciaux d'IA, qui peuvent être intégrés dans les flux de déploiement existants, entraîne une réduction de la puissance et des coûts, tout en augmentant simultanément les capacités.

En conjonction avec les technologies avancées de capteur d'image, nous assistons également à l'avancement de solutions à faible volume de données, y compris la détection basée sur les événements mise en œuvre dans l'espace, dans le temps et même au niveau des photons, par exemple, le tube multiplicateur de photons ou l'Electron Multiplying CCD (EMCCD) remplaçants.

La gamme de caméras Evolve comprend des capteurs EMCCD de pointe conçus et fabriqués par Teledyne e2v pour une efficacité quantique et un faible bruit de lecture. Les capteurs sont intégrés dans des caméras par Teledyne Photometrics pour des applications à très faible luminosité telles que l'imagerie à molécule unique et la microscopie TIRF.

Les capteurs basés sur les événements réagissent au changement, en filtrant les données non pertinentes directement dans le capteur pour envoyer uniquement les informations des pixels qui ont changé au processeur. Cela diffère des capteurs traditionnels basés sur des trames, qui enregistrent et envoient tous les pixels pour traitement, surchargeant ainsi le pipeline du système. Nous appelons souvent ce type de flux de données un traitement neuromorphique, car son architecture de traitement des données imite la manière dont le cerveau humain traite les informations. Bien que le traitement neuromorphique puisse être effectué dans le processeur, si nous voulons obtenir une réduction optimale du volume de données, nous devons combiner un capteur basé sur les événements avec un processeur neuromorphique.

Il existe d'autres moyens astucieux de réduire dynamiquement la transmission de données, notamment les fonctions de région d'intérêt intelligentes (ROI) et les algorithmes de réduction dynamique des données, que nous commençons à émerger dans les capteurs haut de gamme.

L'intégration d'un comportement de capture de données spécialisé avec des processeurs hautes performances et des algorithmes légers intelligents nous donne la combinaison essentielle dont nous avons besoin pour prendre des décisions juste à la périphérie, là où les événements se produisent et où une action est nécessaire. Grâce à cette approche, même les systèmes d'inspection optique hautes performances et riches en informations peuvent fonctionner indépendamment sans connexions PC longues, lentes et coûteuses, ce qui leur permet de réagir plus rapidement aux problèmes avec une surveillance à 100 % à un coût réduit.

Dans l'ensemble, ces progrès amélioreront la sécurité et la qualité de divers produits, produits agricoles et biens tout en réduisant les coûts de production.

Il existe un autre niveau d'inspection qui échappe aux méthodes traditionnelles.

Contrairement aux fabricants d'écrans plats, qui ne veulent pas détecter les bactéries sur leurs écrans, il existe des cas où les utilisateurs ont besoin de voir les bactéries à très haute résolution.

Ici, nous utilisons des technologies de microscopie à fort grossissement, incorporant des méthodes optiques, chimiques, biologiques et informatiques pour fournir des informations plus approfondies sur la nanostructure de notre monde.

Les capteurs d'image ont permis d'inspecter les tissus humains à la recherche de cellules cancéreuses. Alors que la méthode actuelle de détection du cancer dans les échantillons de tissus est grossière, nécessitant l'ablation chirurgicale des échantillons de tissus - qui sont ensuite envoyés à un laboratoire pour une étude plus approfondie - une nouvelle technique, la cytométrie cellulaire, permettra un jour aux médecins de déterminer si un échantillon est cancéreux dans presque en temps réel, alors que le patient est encore sur la table d'opération. Avec une capacité de traitement se rapprochant du pixel, nous pouvons désormais capturer l'image d'une cellule et examiner son ADN dans un grand laboratoire en milieu clinique. À l'avenir, nous déplacerons cette inspection des cellules en temps quasi réel des grands laboratoires vers les laboratoires locaux et enfin vers la table d'opération.

Des chercheurs de l'Université de Hong Kong ont développé des techniques d'imagerie par cytométrie en flux pour réduire le temps et le coût des dépistages sanguins. En utilisant l'imagerie à balayage linéaire laser pulsé avec le numériseur de Teledyne SP Devices, ils ont pu traiter les énormes quantités de données résultantes - jusqu'à 100 000 images/s de cellule unique et 1 To de données d'image en 1 à 2 minutes - lorsqu'elles sont couplées à une analyse en profondeur -apprentissage des réseaux de neurones et analyse automatisée "big-data".

Imaginez armer un chirurgien avec les outils nécessaires pour effectuer un diagnostic au milieu d'une opération. Une tumeur pourrait être classée et retirée en temps réel, au lieu d'imposer une période d'attente stressante au patient et d'obliger le médecin à effectuer une deuxième intervention chirurgicale. C'est une véritable amélioration de la qualité de vie.

La taille présente un autre défi pour le développement de l'imagerie et de la vision. Les nouvelles solutions à haute capacité sont généralement à la fois coûteuses et volumineuses. Viser à avoir un analyseur génomique sur un ordinateur de bureau pendant la chirurgie in vivo illustre le défi que nous devons relever si nous voulons réaliser des solutions plus petites et plus accessibles pour les médecins et leurs patients.

Des capteurs d'image ultra-petits, des sources de lumière et des processeurs pour des applications de caméras miniaturisées viennent à la rescousse. De minuscules capteurs d'image CMOS à puce sur la pointe offrent aux chirurgiens la vision améliorée dont ils ont besoin pour effectuer des chirurgies endoscopiques et laparoscopiques mini-invasives plus efficacement que par le passé. La chirurgie guidée par robot bénéficie également de capteurs d'image compacts avec un très petit pas de pixel et une qualité d'image optimisée pour des procédures médicales spécifiques.

Les capteurs d'image CMOS "Chip-on-the-tip" pour endoscopes et laparoscopes jetables et flexibles nécessitent des capteurs compacts avec un très petit pas de pixel et une qualité d'image spécifiquement optimisée pour l'application médicale.

Avec des outils puissants et efficaces à la disposition des médecins, les procédures médicales deviendront plus rapides, moins invasives et plus efficaces, au profit des patients, des médecins et de la communauté médicale dans son ensemble.

Les progrès de la technologie des caméras et de la détection d'images auront un impact majeur non seulement sur le sol de l'usine, dans l'entrepôt ou sur les systèmes de transport intelligents. Déployées dans des drones ou intégrées dans des appareils portables, la prochaine génération de caméras utilisera la spectroscopie pour nous dire s'il y a des toxines dans nos produits ou dans notre eau potable, ou s'il y a des toxines environnementales dans l'air que nous respirons.

Même les tests de réaction en chaîne par polymérase (PCR) pour des maladies telles que le SRAS-CoV-2 seront effectués plus facilement et à moindre coût, car des capteurs d'image à moindre coût sont utilisés dans les outils de diagnostic moléculaire. Et le séquençage de l'ADN, qui nécessitait autrefois de grosses machines coûteuses pour séquencer le génome humain afin de déterminer l'ascendance, deviendra de plus en plus accessible et abordable grâce aux innovations en matière d'imagerie et d'analyse.

Bien que nous ne puissions pas prévoir avec une précision de 100 %, nous pouvons faire des prévisions basées sur ce que nous savons des demandes du marché et de l'évolution de la technologie. Attendez-vous à des processeurs IA toujours plus puissants qui offrent une plus grande puissance de calcul à une puissance inférieure et à des températures plus froides. Combiné à de puissantes solutions algorithmiques, les fournisseurs de solutions auront accès à un plus large éventail d'applications adaptées.

Les plates-formes informatiques neuromorphiques imiteront l'efficacité de la vision humaine. Des algorithmes logiciels d'IA plus intuitifs formeront les modèles de vision industrielle plus efficacement que jamais. L'imagerie hyperspectrale continuera de nous emmener sous la surface de la Terre. Et des capteurs d'image miniaturisés permettront des diagnostics moléculaires pendant qu'un patient est encore en chirurgie.

Les appareils photo ont parcouru des millions de kilomètres depuis l'invention des premiers appareils photographiques du début du XVIIIe siècle. Nous voyagerons des millions d'autres à mesure que les innovations en matière d'appareils photo et de capteurs d'images éclaireront notre capacité à comprendre le monde qui nous entoure et en nous.

Écrit par Matthias Sonder, Teledyne DALSA