具有高时空分辨率的宽带高光谱图像传感器,大大提高光能利用率

MEMS 2024-11-15 00:01

高光谱成像能够捕捉物理世界的空间、时间和光谱信息,表征每个位置的内在光学特性。与多光谱成像技术相比,高光谱成像技术可获取大量波长通道(从几十个到几百个不等),与光谱分析技术相比,高光谱成像技术的空间测绘能力更强。这种高维信息可以精确区分具有相似颜色的不同材料,与人类视觉相比,具有更高的光谱分辨率和更宽的光谱范围,可进行更智能的检测。凭借这些优势,高光谱成像技术已广泛应用于遥感、机器视觉、农业分析、医疗诊断和科学监测等多个领域。

实现高光谱成像,最重要的挑战是高效获取密集的空间光谱数据立方体。现有的高光谱成像系统大多使用单个光学元件(如棱镜、光栅或光谱滤波器)和机械部件来扫描空间或光谱维度的高光谱立方体。然而,这些系统通常存在体积大、重量重、成本高以及操作耗时等缺点,限制了它们的广泛应用。

随着压缩感知理论和计算成像技术的发展,各种计算型快照式高光谱成像技术(如计算断层成像系统和编码孔径快照光谱成像等)被开发出来,它们将多维高光谱信息编码为单次测量数据,并利用压缩感知或深度学习算法对数据立方体进行解码。虽然这些系统有效地提高了时间分辨率,但它们仍然需要单独的光学元件进行明确的光调制,这对轻量级集成来说是一个沉重的负担。

为了实现集成高光谱成像,已有研究进行了大量的片上采集试验。最合理的方法是通过引入更多窄带滤光片来扩展红、绿、蓝(RGB)彩色相机的经典拜耳模式,进而开发商用多光谱成像传感器。然而,除了需要在空间分辨率和光谱分辨率之间进行大量权衡外,这种技术还由于窄带滤光而浪费了很多的光通量。

此外,得益于精细可调的光谱滤波能力,基于微纳制造技术的超构表面、光子晶体板阵列、法布里-佩罗(F-P)腔滤光片也被用于特定光谱范围内的光谱调制。从实验上看,这些现有原型大多覆盖可见光范围内约200 nm的区域,只有约20个通道。近来,利用散射介质的空间复用和点扩散函数特性,已有研究将其用于紧凑的无透镜高光谱成像系统。尽管采用了这些片上技术,但它们大多存在光谱范围窄、光能利用率低以及空间和光谱分辨率之间需要权衡等问题。

据麦姆斯咨询报道,北京理工大学张军院士团队近期在Nature期刊上发表了一篇题为“A broadband hyperspectral image sensor with high spatio-temporal resolution”的论文。该论文报道了一种片上计算高光谱图像传感器(被称为HyperspecI传感器)及其硬件制造、光学校准和计算重建的综合框架。首先,为了有效获取空间和光谱信息,研究人员利用光刻技术开发了一种宽带多光谱滤波阵列(BMSFA)制造技术。BMSFA由位于不同空间位置的不同宽带光谱调制材料组成。与传统的窄带滤光片相比,BMSFA可以在整个宽光谱范围内调制入射光,从而大大提高了光能利用率,有利于弱光和远距离成像应用。调制后的信息被压缩,并由底层宽带单色传感器芯片捕获,从而实现具有全时间分辨率的空间光谱压缩。然后,为了从BMSFA压缩测量结果中高效还原高光谱数据立方体,研究人员推导出一种轻量级高性能神经网络——光谱重建网络(SRNet),它具有更强的特征提取和先验建模能力。因此,可以从每一帧图像中重建具有高空间和光谱分辨率的高光谱图像(HSI),实现高通量实时高光谱成像。

HyperspecI传感器原理

HyperspecI传感器由两个主要组件组成:宽带多光谱滤波阵列(BMSFA)和宽带单色图像传感器芯片。BMSFA在光谱域对目标场景的高维高光谱信息进行编码,底层图像传感器芯片则捕获耦合的二维测量值。然后利用混合神经网络SRNet,从每一帧图像中高保真、高效地重建多通道高光谱图像。


HyperspecI传感器结构和原理

研究人员开发了一种光刻技术来制造BMSFA。首先,基于具有不同光谱响应的有机材料制备了宽带材料。然后,通过将宽带材料与负光刻胶耦合,制备出适合光刻技术的宽带光谱调制材料。这些材料根据最佳宽带光谱调制特性选择。再利用改进的光刻工艺,按照预先设计的光掩模将光谱调制材料固化在高透光率石英衬底上,形成BMSFA。为了满足不同光谱范围的需求,研究人员设计并制备了具有不同材料体系和空间排列的BMSFA。然后将制备的BMSFA分别与CMOS和InGaAs图像传感器芯片集成。


BMSFA制造

HyperspecI传感器的高光谱成像示例表明,它能够获取丰富的空间细节,并在宽光谱范围内保持较高的光谱精度。此外,为了证明HyperspecI传感器在高光谱图像重建方面的高精度和高效率,研究人员将所提出的SRNet模型与现有最先进的基于模型和深度学习的算法进行了比较,结果表明所提出SRNet模型在精度和效率方面都优于其它算法。


HyperspecI传感器高光谱成像示例

研究人员根据所提出的框架制作了两个可见光-近红外(VIS-NIR)高光谱图像传感器(HyperspecI-V1和HyperspecI-V2)。HyperspecI-V1和HyperspecI-V2的光谱响应范围分别为400-1000 nm和400-1700 nm,平均光能利用率分别为71.8%和74.8%。在弱光条件下,HyperspecI传感器的性能大大优于马赛克型多光谱相机和扫描式高光谱系统。HyperspecI-V1的平均光谱分辨率为2.65 nm,HyperspecI-V2为8.53 nm。对于高光谱成像,HyperspecI-V1传感器在400-1000 nm范围内可生成61个通道,时空分辨率为2048 x 2048@47fps。HyperspecI-V2传感器可生成96个通道,时空分辨率为1024 x 1024@124fps。


高光谱图像传感器HyperspecI在智慧农业中的应用


高光谱图像传感器HyperspecI用于血氧检测和水质监测


高光谱图像传感器HyperspecI用于纺织品分类和苹果损伤检测

为了证明HyperspecI传感器的实际性能和广泛应用潜力,研究人员将其用于智慧农业的土壤植物分析开发(SPAD)和可溶性固体含量(SSC)评估,用于人体健康的血氧检测和水质监测,用于工业自动化的纺织品分类和苹果损伤检测,以及用于天文学的远程月球探测。

这些应用证明了HyperspecI传感器技术具有高信噪比(SNR)、高分辨率、超宽带和动态高光谱成像能力,在弱光环境、针对动态场景以及检测小型或远距离目标方面具有其它技术无法实现的独特优势。

此外,HyperspecI传感器体积小(29 mm x 29 mm x 42 mm)、重量轻(46 g)、集成度高,适合在有效载荷能力有限的平台上使用。研究人员认为,该方案为开发信息维度更高、成像分辨率更高、智能程度更高的下一代图像传感器打开了新大门。

论文链接:
https://doi.org/10.1038/s41586-024-08109-1

MEMS 中国首家MEMS咨询服务平台——麦姆斯咨询(MEMS Consulting)
评论
  • 多人同时共享相同无线网络,以下场景是否是您熟悉的日常?姐姐:「妈~我在房间在线上课,影音一直断断续续的怎么上课啊!」奶奶:「媳妇啊~我在在线追剧,影片一直卡卡的,实在让人生气!」除此之外,同时间有老公在跟客户开在线会议,还有弟弟在玩在线游戏,而妈妈自己其实也在客厅追剧,同时间加总起来,共有五个人同时使用这个网络!我们不论是在家里、咖啡厅、餐厅、商场或是公司,都会面临到周遭充斥着非常多的无线路由器(AP),若同时间每位使用者透过手机、平板或是笔电连接到相同的一个网络,可想而知网络上的壅塞及相互干扰
    百佳泰测试实验室 2025-03-06 16:50 40浏览
  • 随着自动驾驶技术的迅猛发展,构建高保真、动态的仿真场景成为了行业的迫切需求。传统的三维重建方法在处理复杂场景时常常面临效率和精度的挑战。在此背景下,3D高斯点阵渲染(3DGS)技术应运而生,成为自动驾驶仿真场景重建的关键突破。一、3DGS技术概述与原理1、3DGS的技术概述3DGS是一种基于3D高斯分布的三维场景表示方法。通过将场景中的对象转化为多个3D高斯点,每个点包含位置、协方差矩阵和不透明度等信息,3DGS能够精确地表达复杂场景的几何形状和光照特性。与传统的神经辐射场(NeRF)方法相比,
    康谋 2025-03-06 13:17 120浏览
  • 在六西格玛项目中,团队的选择往往决定了最终的成败。合适的团队成员不仅能推动项目顺利进行,更能确保最终成果符合预期。因此,组建六西格玛团队时,必须挑选最合适的人才,确保他们具备必要的能力和特质。团队主管的关键特质每个精益六西格玛项目都需要一位主管来带领团队。他们不仅需要具备领导力,还要能够分析数据、制定策略,并与管理层和团队成员高效沟通。团队主管的核心职责包括:领导团队行动:能够激励成员,确保团队朝着既定目标前进。数据分析能力:精通数据处理和分析,能基于数据做出决策。沟通协调:能够在管理层和团队之
    优思学院 2025-03-06 12:51 98浏览
  • 案例1 2008款保时捷卡宴车行驶中发动机偶发熄火故障现象 一辆2008款保时捷卡宴车,搭载4.8 L 自然吸气发动机,累计行驶里程约为21万km。车主反映,该车行驶中发动机偶发熄火;重新起动,发动机能够起动着机,只是起动时间延长,且组合仪表上的发动机故障灯异常点亮。 故障诊断接车后试车,发动机起动及怠速运转正常。用故障检测仪检测,发动机控制单元(DME)中存储有故障代码“P0335 曲轴位置传感器A电路”,由此怀疑曲轴位置传感器信号偶尔异常,导致发动机熄火。用虹科Pico汽车示波器测
    虹科Pico汽车示波器 2025-03-05 11:00 62浏览
  • 服务器应用环境与客户需求PCIe 5.0高速接口技术的成熟驱动着生成式AI与高效能运算等相关应用蓬勃发展。在随着企业对服务器性能的要求日益严苛,服务器更新换代的周期也持续加快。在此背景下,白牌与DIY(Do It Yourself)服务器市场迎来了新的发展契机,但同时也面临着更趋复杂的技术挑战。传统上,白牌与DIY服务器以其高度客制化与成本效益优势受到市场青睐。然而,随着PCIe 5.0等高速技术的导入,服务器系统的复杂度大幅提升,对组装技术与组件兼容性也就提出更高的要求。举个简单的例子来说,P
    百佳泰测试实验室 2025-03-06 17:00 47浏览
  • 产品质量合格率偏低会引起质量成本(也称“劣质成本”)的大幅增加。质量成本通常分为内部损失成本和外部损失成本两部分。内部损失成本是指产品交付前因质量不合格造成的损失,包括返工、报废等;外部损失成本是指产品交付后因质量问题导致的损失,如退货、召回等。此外,质量问题还会影响生产效率,带来额外人工和停工损失。下面分别介绍各类损失的具体计算方法和公式。直接成本损失(内部故障成本)直接成本是由于产品在出厂前质量不合格所造成的看得见的损失。常见的直接损失包括返工、报废以及由此产生的额外原材料消耗等。返工成本:
    优思学院 2025-03-05 15:25 77浏览
  • 文/Leon编辑/cc孙聪颖2025年全国两会进行时,作为“十四五”规划收官之年,本届两会释放出坚定目标、稳中求进、以进促稳等信号。其中,企业家们的建议备受关注,关系到民营经济在2025年的走向。作为国内科技制造业的“老兵”,全国人大代表、TCL集团创始人及董事长李东生在本届两会中提出三份代表建议,包括《关于优化中国科技制造业融资环境的建议》、《关于加强AI深度伪造欺诈管理的建议》和《关于降低灵活就业人员社会保险参保门槛的建议》,表现出对科技制造、AI发展和劳动者保障方面的关注。会后,李东生接受
    华尔街科技眼 2025-03-06 19:41 44浏览
  • 引言嘿,各位电动汽车的爱好者们!咱们今儿个就来聊聊电动汽车里那些“看不见,摸不着”,但又至关重要的零部件。要说电动汽车这玩意儿,那可真是科技含量满满,各种高精尖的技术都往里堆。但要让这些高科技玩意儿协同工作,稳定可靠地运转,那就得靠一些幕后英雄,比如说——电容器。你可能会想,电容器?这不就是电子电路里常见的元件嘛,能有多重要? 哎,你可别小瞧了这小小的电容器。在电动汽车的心脏地带——高压直流转换器(DC-DC转换器)里,车规级的电容器那可是扮演着举足轻重的角色。 今天,咱们就聚焦分析三星电机车规
    贞光科技 2025-03-05 17:02 90浏览
  • 文/Leon编辑/侯煜‍2008至2021年间,创维以高举高打的凌厉之势,果断进行投资,一度成为中国市场大屏OLED产业的旗手,引领着显示技术的发展方向。但近年来,创维在 OLED 领域的发展轨迹却逐渐模糊,态度陷入暧昧不明的混沌状态。究其根源,一方面,创维对过往的押注难以割舍,在技术革新与市场变化的浪潮中,不愿轻易推翻曾经的战略布局;另一方面,早期在大屏OLED 技术研发、市场推广等环节投入的巨额资金,已然形成沉没成本,极大地限制了创维在显示技术路线上的重新抉择。但市场瞬息万变,为适应激烈的行
    华尔街科技眼 2025-03-05 20:03 147浏览
  • ASL6328芯片支持高达 6.0 Gbps 运行速率的交流和直流耦合输入T-MDS 信号,具备可编程均衡和抖动清理功能。ASL6328 是一款单端口 HDMI/DVI 电平转换 / 中继器,具有重新定时功能。它包含 TypeC双模式 DP 线缆适配器寄存器,可用于识别线缆适配器的性能。抖动清理 PLL(锁相环)能够消除输入抖动,并完全重置系统抖动容限,因此能更好地满足更高数据速率下 HDMI 抖动合规性要求。设备的运行和配置可通过引脚设置或 I2C 总线实现。自动断电和静噪功能提供了灵活的电
    QQ1540182856 2025-03-06 14:26 86浏览
  • 概述随着工业4.0的深入推进,制造业对自动化和智能化的需求日益增长。传统生产线面临空间不足、效率低下、灵活性差等问题,尤其在现有工厂改造项目中,如何在有限空间内实现高效自动化成为一大挑战。此次项目的客户需要在现有工厂基础上进行改造,空间有限。为此,客户选择了SCARA型线性轴机器人作为执行设备。然而,SCARA机器人的高效运行离不开强大的控制系统支持。宏集凭借其先进的智能控制系统,为客户提供了高效、灵活的自动化解决方案,确保SCARA机器人在有限空间内发挥最大效能。一、客户需求在此次改造项目中,
    宏集科技 2025-03-06 11:27 120浏览
  • 在当今竞争激烈的市场环境中,企业不仅需要优化成本,还需积极响应国家的能源政策,减少对环境的影响。提升工业能源效率正是实现这一双重目标的关键。中国近年来大力推进“双碳”目标(碳达峰、碳中和),并出台了一系列政策鼓励企业节能减排。通过宏集CODRA的Panorama解决方案,企业可以获得专为这一目标设计的SCADA工具,实时监控和调整所有工业设备的能耗。特别是其中的能源管理模块,能够有效分析数据,预防故障,避免能源浪费。Panorama的优化技术宏集CODRA提供的解决方案,尤其是Panorama
    宏集科技 2025-03-06 11:25 115浏览
  • 1. 背景在汽车电子系统测试中,CANoe作为主流的仿真测试工具,常需与云端服务器、第三方软件或物联网设备进行交互。随着CANoe与外部软件、服务器或设备交互越来越多,直接使用Socket进行通信往往不能满足使用需求,依托于CANoe 的连接功能集(Connectivity Feature Set),以及Distributed Object(DO)功能,可以仿真HTTP节点,实现设备与服务器等之间的通信,保证数据处理的可靠性和便捷性。本文详细解析如何利用CANoe搭建HTTP测试环境,并提供典型
    北汇信息 2025-03-05 11:56 87浏览
我要评论
0
点击右上角,分享到朋友圈 我知道啦
请使用浏览器分享功能 我知道啦