Une caméra de la taille d’un grain de sel

Des caméras d’une taille inférieure à 1 mm présentent un grand intérêt pour l’observation des dysfonctionnements dans le corps humain, pour la réalisation de senseurs adaptés aux robots miniatures et pour remplir bien d’autres tâches. Ces dispositifs pourraient aussi s’intégrer dans des téléphones portables.
 
Des chercheurs de Princeton University, Princeton, NJ, USA et de  University of Washington, Washington, WA, USA, ont mis au point une caméra ultra compacte de la taille d’un gros grain de sel.
A cette échelle, il était impensable d’utiliser une optique classique à base de lentilles. Des  optiques  à méta-surface (méta-optiques) étaient mieux adaptées, mais celles existantes fournissaient des images bien plus mauvaises que celles des encombrantes optiques classiques à réfraction.

Les composants optiques réfractifs et diffractifs jouent sur le déphasage des rayons lumineux. Des méta-surfaces réalisées à partir de couches de matériaux différents ou de structures périodiques microscopiques influent aussi sur les phases des ondes et peuvent avoir des effets comparables à ceux de l’optique classique.

Ces défauts, dus surtout à des aberrations dépendant de la longueur d’onde, augmentaient avec le champ de vision de l’imageur et avec la diminution de la distance focale. Or l’intérêt des caméras miniatures est d’avoir un champ de vision élevé et une distance focale faible pour pouvoir donner des images d’objets très proches.
Les chercheurs ont surmonté ces difficultés en traitant l’image que fournit une méta-optique par un système informatique de réseau de neurones artificiels qui permet de prendre en compte les défauts et les neutraliser.

Un réseau de neurones est un ensemble d’algorithmes inspirés, à l’origine, par le fonctionnement des neurones biologiques.

Ils ont pu ainsi obtenir un imageur nano-optique de haute qualité, dans la bande des couleurs visibles (400 à 700 nm), avec un champ de vision de 40° et une ouverture  f de 2.
On optimise en fonction de la méta-surface l’algorithme de déconvolution qui conduit à l’image finale. Ceci est obtenu par des méthodes d’apprentissage profond qui optimisent tous les paramètres, allant de la conception de la méta-optique à l’algorithme de reconstruction de l’image.
La Fig.1. résume l’ensemble de ces opérations.

Fig.1. Schéma de la nano optique d’un bout à l’autre de la chaîne a) Méta optique ultra fine de 500 µm de côté et d’épaisseur. b) Aspect de l’optique terminée c) Zoom sur la surface de l’optique. d) Dimensions des plots cylindriques la constituant. e) Chaîne de l’imageur d’un bout à l’autre : elle comprend un modèle de formation de l’image sur la méta surface et un algorithme de déconvolution ; à partir du profil de phase, le modèle de formation d’image produit des fonctions d’étalement du point (en anglais PSF pour point spread function) qui sont combinées et convoluées avec l’image d’entrée pour former l’image du senseur. Celle-ci est alors déconvoluée, ce qui fournit l’image finale. On appelle « réalité de terrain » une image prise avec une caméra à optique classique de la plus haute définition possible. Elle est utilisée pour optimiser la chaîne d »image de la caméra à méta-surface. L’optimisation est conservée pour des prises de vue à venir. Tiré de Neural nano-optics for high-quality thin lens imaging Ethan Tseng, Shane Colburn, James Whitehead, Luocheng Huang, Seung-Hwan Baek , Arka Majumdar & Felix Heide, Nature communications, (2021) 12:6493, Creative Commons CC BY.

Fig.1. Schéma de la nano optique d’un bout à l’autre de la chaîne
a) Méta optique ultra fine de 500 µm de côté et d’épaisseur.
b) Aspect de l’optique terminée
c) Zoom sur la surface de l’optique.
d) Dimensions des plots cylindriques la constituant.
e) Chaîne de l’imageur d’un bout à l’autre : elle comprend un modèle de formation de l’image sur la méta surface et un algorithme de déconvolution ; à partir du profil de phase, le modèle de formation d’image produit des fonctions d’étalement du point (en anglais PSF pour point spread function) qui sont combinées et convoluées avec l’image d’entrée pour former l’image du senseur. Celle-ci est alors déconvoluée, ce qui fournit l’image finale.
On appelle « réalité de terrain » une image prise avec une caméra à optique classique de la plus haute définition possible. Elle est utilisée pour optimiser la chaîne d »image de la caméra à méta-surface. L’optimisation est conservée pour des prises de vue à venir.
Tiré de Neural nano-optics for high-quality thin lens imaging Ethan Tseng, Shane Colburn, James Whitehead, Luocheng Huang, Seung-Hwan Baek , Arka Majumdar & Felix Heide, Nature communications, (2021) 12:6493,
Creative Commons CC BY.

 

La fonction PSF est la réponse d’un système d’imagerie à une source ponctuelle.

Les méta-optiques peuvent être fabriquées à l’aide de toutes les techniques mises au point pour l’obtention des circuits intégrés comme, par exemple la lithographie profonde par UV, la gravure à plusieurs niveaux, ou encore la lithographie dite « grayscale » utilisée pour les polymères. Il existait déjà des senseurs photosensibles  d’une taille inférieure au micromètre. Il était simple d’en disposer une mosaïque derrière la méta-optique.
Les optiques plates à méta-surface présentent, on l’a noté plus haut, de nombreux défauts  géométriques. Les essais de compensation de ces défauts par des modifications des méta-surfaces ne donnaient pas de bons résultats. Les chercheurs de Princeton et Washington ont, au contraire, choisi d’optimiser la méta-surface et l’algorithme de déconvolution de l’image intermédiaire en utilisant un programme modèle  qui optimise tous les paramètres de la chaîne de construction de  l’image, de la conception de la méta-optique à l’algorithme de reconstruction de l’image. Toutes ces opérations sont effectuées par un système de réseau de neurones. L’optimisation se fait par rapport à une image « réalité de terrain » d’un objet obtenue par un système optique classique de haute qualité. Une fois l’optimisation effectuée,  ses paramètres  sont conservés pour toutes les prises de vue ultérieures.
On peut apprécier la qualité d’image obtenue sur la fig.2. où l’on a placé, à droite, l’image de réalité de terrain prise avec une optique classique de haute qualité à 6 éléments réfractifs et, à gauche, les images données par la méta-optique bien que son volume soit 550 000 fois plus petit que celui de l’optique classique.

Fig.2. Images expérimentales Le système de nano-optique neural fournit des images reconstruites de haute qualité, à grand champ de vue et corrigées d'aberrations. A gauche) Images par méta-optique et traitement neural (par réseau de neurones). A droite) Les mêmes images obtenues par une optique réfractive composée de haute qualité (réalité de terrain) Tiré de Neural nano-optics for high-quality thin lens imaging Ethan Tseng, Shane Colburn, James Whitehead, Luocheng Huang, Seung-Hwan Baek , Arka Majumdar & Felix Heide, Nature communications, (2021) 12:6493, Creative Commons CC BY.

Fig.2. Images expérimentales
Le système de nano-optique neural
fournit des images reconstruites
de haute qualité, à grand champ de vue
et corrigées d’aberrations.
A gauche) Images par méta-optique
et traitement neural (par réseau de neurones).
A droite) Les mêmes images obtenues par
une optique réfractive composée de haute qualité
(réalité de terrain)
Tiré de Neural nano-optics for high-quality thin lens imaging Ethan Tseng, Shane Colburn, James Whitehead, Luocheng Huang, Seung-Hwan Baek , Arka Majumdar & Felix Heide, Nature communications, (2021) 12:6493,
Creative Commons CC BY.

 

Les chercheurs ont démontré que les méta-optiques pouvaient donner des images de haute qualité, à large champ de vue avec toutes les couleurs du spectre visible.
Ces caméras de taille minuscule peuvent trouver de nouvelles applications en endoscopie et en imagerie cérébrale. On peut aussi imaginer de revêtir des surfaces  avec une distribution raisonnée de ces caméras grains de sel.

Pour en savoir plus :
Neural nano-optics for high-quality thin lens imaging Ethan Tseng, Shane Colburn, James Whitehead, Luocheng Huang, Seung-Hwan Baek , Arka Majumdar & Felix Heide, Nature communications, (2021) 12:6493