机器视觉和机器人应用的摄像头本质上是一种模仿人眼的仿生设备。这些应用要求先进的彩色成像系统具有高分辨率、大视场(FoV)、紧凑设计、重量轻、能耗低等特点。
传统基于CCD/CMOS图像传感器的成像系统存在视场相对较小、体积大、设计复杂以及功耗问题,尤其是搭配机械调谐光学元件的情况下。近年,具有曲面图像传感器视网膜的球形仿生眼成为研究热点。
这类器件具有很多诱人的特点,例如简化的透镜设计、低像差、宽视场以及类似生物眼的外观,使其特别适合人形机器人。不过,现有的曲面视网膜球形仿生眼通常只有固定透镜,并且只能捕捉单色图像。固定透镜无法拍摄不同距离的物体。
另一方面,传统CCD/CMOS图像传感器的彩色成像功能是通过使用色彩滤波阵列(CFA)来实现的,这增加了器件制造的复杂性,并导致光学损耗。典型吸收性有机染料滤波器的紫外和高温稳定性较差,而等离子体色彩滤波器的透射率较低。在半球形几何形状上制造滤波器阵列更具挑战性,并且大多数传统微电子制造方法无法适用。
据麦姆斯咨询报道,香港科技大学的研究团队展示了一种新颖的仿生眼设计,它具有自适应光学元件和半球形纳米线阵列视网膜,具有无滤波器的彩色成像和神经形态预处理能力。其人工视网膜的主要光学传感功能,通过利用半球形全无机CsPbI3纳米线阵列来实现,该阵列可以在没有外部偏置的情况下产生光电流,从而实现自供电工作模式。
有趣的是,在一种精心设计的混合纳米结构中,发现了电解质辅助的颜色依赖性双向突触光响应。受色敏锥细胞和跟随神经元垂直排列的启发,该器件结构在CsPbI3/NiO核壳纳米线的顶部垂直集成了填充有离子液体的SnO2/NiO双壳纳米管。
研究发现,在较短(蓝色)或较长(绿色和红色)波长照明下,由光空穴注入引起的NiO正环栅效应可以部分或完全被电解质平衡。因此,该器件可以分别在较短或较长波长的照明下产生正光电流或负光电流。载流子可以在SnO2/NiO结构中积累,从而产生双向突触光响应。这种对颜色敏感的双向光响应为视网膜注入了独特的无滤波器的彩色成像功能。
该器件基于突触行为的神经形态预处理能力,加上自供电功能,有效降低了系统的能耗。此外,可以通过很小的外部偏置来调整每个像素的色彩选择性,以检测更准确的颜色信息。研究人员证明该器件能够为卷积神经网络(CNN)分类重建高保真的彩色图像。
此外,研究人员构建的仿生眼通过集成人工晶状体和基于液晶的电子虹膜整合了自适应光学元件。人工晶状体可以切换焦距以检测不同距离的物体,电子虹膜可以控制到达视网膜的光量,从而增强动态范围。与目前已有报道的传统机械控制光学元件相比,这两种光学元件都可以通过电场方便地进行调谐,速度更快、结构紧凑且能效更高。所有这些独特功能的结合,使其仿生眼在结构和功能上可以比肩生物对应体。
仿生眼设计
仿生眼的表征和神经形态图像传感演示
成像演示及自适应光学元件
总结来说,在这项成果中,研究人员设计并实现了一种独特的半球形仿生视网膜和球形仿生眼,其具有先前研究中缺乏的色彩视觉、光学适应性和能效特性。这种具有无滤波器的彩色视觉、神经形态预处理和自适应光学的仿生眼,提供了一种新范式,整合了类似生物眼的结构和功能特征,展现了进一步优化并探索仿生人工视觉系统方面的潜力,进而改善机器视觉和机器人的效率。
延伸阅读:
《新兴图像传感器技术及市场-2023版》