仿生相机由单透镜和曲面图像传感器（即曲面上的光电二极管阵列）构成，源自于柔性电子技术的革新。凭借其精简的结构，仿生相机尤其适用于空间受限的机器视觉应用。曲面传感器类似于视网膜，有助于图像聚焦；但传感器曲率所引发的图像失真问题可能对物体识别等机器视觉任务造成不利影响。
据麦姆斯咨询报道，近日，来自美国哈佛大学（Harvard University）、韩国基础科学研究所（IBS）和韩国光州科学技术院（Gwangju Institute of Science and Technology）的联合科研团队提出了一种由单球面透镜与曲面图像传感器构成的抗失真仿生相机。与标准设计不同，抗失真的关键在于以非均匀模式在曲面传感器表面分布硅光电二极管，这种分布模式遵循非线性坐标缩放（如图1）。换言之，像素分布模式本身的扭曲方式与图像的扭曲方式相同，从而有效校正了失真。所获图像在120°水平视角范围内无明显失真，该成果已通过其神经网络识别准确度得到证实。这种通过像素阵列重构实现失真校正的方法是一种传感器内计算。这项研究成果以“Anti-distortion bioinspired camera with an inhomogeneous photo-pixel array”为题发表在Nature Communications期刊上。
图1 抗失真仿生相机的概念图
该仿生相机由单球面透镜、椭圆光圈和采用非均匀像素阵列的圆柱形图像传感器构成，如图2a所示。图2b呈现了该相机几何构造的顶视图。
图2 圆柱形表面上的非均匀像素阵列
这项研究利用柔性电子制造技术来实现这种在圆柱形表面非均匀分布像素的图像传感器。研究人员首先在绝缘体上硅（SOI）晶圆上的1.25 μm厚的硅纳米膜上掺杂p和n区域，以128 × 32的位置来分布4096个p-i-n光电二极管，然后将纳米膜分离并放置在涂有聚酰亚胺（PI）膜的SiO2晶圆上。接着，采用水溶性胶带转移印刷技术，将这个由硅p-i-n光电二极管和顶部底部带有PI钝化层的金属互连器件构成的柔性平台转移到圆柱形PDMS衬底上。至此，圆柱形图像传感器制备完成。图3b展示了使图像传感器能够捕获实时图像的电子装置。
图3 仿生相机的电子装置和光圈光学元件
在成像实验之前，研究人员先进行了三维（3D）光线追踪模拟，以便比较非均匀像素阵列和均匀像素阵列所获图像的差异，这两种阵列都分布在圆柱形表面。图4a和图4b分别呈现了两种图像传感器采集的位于同一平面但处于不同的水平视角的物体的模拟图像。随后，研究人员使用非均匀像素阵列图像传感器和均匀像素图像传感器对位于同一平面的三个物体进行了成像实验，相关结果如图4d和图4e。
图4 抗失真成像实验
最后，无论物体位于视场中哪个位置，通过抗失真非均匀像素阵列获取的物体图像都必须能被神经网络以一致的准确度识别。研究人员通过实验证明了这一点，相关结果如图5所示。
图5 抗失真相机采集的MNIST手写图像的神经网络识别实验
综上所述，通过集成单球面透镜与采用非均匀分布的硅光电二极管阵列的圆柱形图像传感器，这项研究成功开发出一种抗失真仿生相机，该相机能够在宽视场范围内捕获无失真的全景图像。抗失真设计的关键在于非均匀分布的光电二极管，这种分布模式遵循传感器曲面几何的光学失真特性。在图像传感器内实现抗失真补偿功能的像素排列方式，可被视为一种传感器内计算。鉴于此，这项研究的意义在于建立了仿生相机与传感器内计算之间的联系。
论文链接：
https://doi.org/10.1038/s41467-024-50271-7
延伸阅读：
《新兴图像传感器技术及市场-2024版》
《光谱成像市场和趋势-2022版》
《小型、微型和芯片级光谱仪技术及市场-2020版》
