基于事件的薄膜视觉传感器,增强多光谱感知能力

MEMS 2025-03-17 00:02

动态检测对于智能视觉系统来说至关重要,可以赋能自动驾驶汽车和高级监控等应用。基于事件的视觉传感器可将光照变化转化为稀疏的事件尖峰信号,实现低数据冗余的高效动态检测。然而,目前基于事件的视觉传感器通常采用简化的光敏电容器结构,特别是在光谱响应方面面临着诸多局限性,导致其在多光谱场景中难以有效获取信息。

据麦姆斯咨询报道,近日,北京工业大学与华北光电技术研究所的联合研究团队提出了一种基于事件的双端薄膜视觉传感器(如图1),该传感器创新地将无机氧化物p-n结与热释光电效应相结合,协同了光伏效应和热释电机制。这一创新使尖峰信号的响应度提高了十倍,动态范围达到110 dB,光谱响应范围从紫外(UV)波段扩展到近红外(NIR)波段。利用该薄膜传感器阵列,即使在弱光条件下,这些尖峰信号仍能准确提取指纹边缘特征,这得益于其对微弱亮度变化的高灵敏度。此外,传感器的宽带尖峰响应可捕获更丰富的信息,在多光谱动态手势识别中准确率高达99.25%,同时数据处理量减少了65%以上。这种方法有效地消除了冗余数据,同时最大限度地减少了信息丢失,为当前的动态感知技术提供了一种前景广阔的替代方案。这项研究以“Thin-film event-based vision sensors for enhanced multispectral perception beyond human vision”为题发表在InfoMat期刊上。


图1 基于事件的薄膜视觉传感器的仿生动态检测方法

研究团队设计了一种基于事件的双端薄膜视觉传感器,主要利用ZnO/NiO光电二极管中的热释光电效应和HfO₂绝缘层的电容效应(如图2B和图2C),可增强光电转换能力并提高传感器的动态响应特性,相关机理分析如图2所示。


图2 基于事件的薄膜视觉传感器的设计与机理分析

随后,研究人员测量了基于事件的薄膜视觉传感器在光脉冲下的尖峰信号(如图3A)。在像素值不断变化的动态场景中,有必要检查传感器在逐步变化的光照下的性能(如图3E)。对现代传感系统来说,准确探测宽光谱场景信号的能力至关重要。研究人员测定了基于事件的薄膜视觉传感器在紫外(380 nm)波段到近红外(1064 nm)波段的响应度,以评估其宽带探测的能力(如图3H)。


图3 基于事件的薄膜视觉传感器的快速宽带尖峰信号测量

基于事件的薄膜视觉传感器在图像上移动时,会在灰度值发生变化的边缘区域产生电流尖峰信号。这种能力极大的提升其在传感器内(in-sensor)边缘处理能力,特别是在指纹识别方面,因为指纹识别主要依赖于边缘提取来识别指纹图案中的独特特征,相关实验结果如图4所示。


图4 采用基于事件的薄膜视觉传感器进行传感器内图像边缘处理的实验结果

这项研究重点关注了从紫外波段到近红外波段的低可见度场景,以评估传感器的动态识别能力。为了复制这一场景,研究人员做了两方面简化:(1)图像区域划分:将图像分成四个相等的矩形区域,每个区域代表特定波长(380 nm、675 nm、808 nm和1064 nm)的信息(如图5A右侧);(2)统一响应度假设:考虑到低可见度环境下紫外波段和可见光的响应度降低,假设四个波长的响应度形同。对于识别任务,这项研究使用了包含四种动态手势(向左移动、向右移动、向上移动和向下移动)的数据集,相关实验结果如图5所示。


图5 基于事件的薄膜视觉传感器在低可见度场景的快速宽带尖峰信号测量

综上所述,这项研究提出了一种简化的基于事件的薄膜视觉传感器,它能够感知并直接将多光谱亮度变化转换为尖峰信号,从而有效地促进了静态图像和动态物体的感知和处理,通过利用热释光电效应,其响应度提高了十倍,动态范围达到110 dB。这些尖峰信号实现了传感器内边缘处理,而对数响应则提高了对微弱光线变化的灵敏度,在指纹识别任务中优于Prewitt核卷积等传统方法。此外,从紫外波段到近红外波段的扩展光谱范围使传感器能够捕获宽带动态信息,同时过滤掉冗余数据。通过将获取的信息输入到脉冲神经网络(SNN)模型中,动态手势识别准确率高达99.25%,超越了单波段传感器,并证明了其在实时视觉处理中的有效性。这项技术为开发先进的机器视觉系统和实时视觉计算芯片提供了巨大潜力。

论文链接:
https://doi.org/10.1002/inf2.70007

延伸阅读:
《苹果在量子点光电传感器领域的发明专利与产业布局分析》
《量子点光电传感器专利态势分析-2024版》
《新兴图像传感器技术及市场-2024版》
《汽车红外摄像头技术及市场-2024版》
《光谱成像市场和趋势-2022版》
《小型、微型和芯片级光谱仪技术及市场-2020版》

MEMS 中国首家MEMS咨询服务平台——麦姆斯咨询(MEMS Consulting)
评论 (0)
  • 宠物饮水机是专为宠物设计的自动供水设备,它能够持续提供新鲜流动的水,刺激宠物饮水欲望,保持宠物健康。智能水位监测功能可确保宠物始终有水可饮,同时避免溢水和干烧,是现代宠物家庭的理想选择。那么,宠物饮水机水箱是如何实现低水位提醒功能的呢?ICMAN液位检测芯片轻松实现宠物饮水机的水箱低液位提醒功能!工作原理 :基于双通道电容式单点液位检测原理方案特点:液位检测精度高达±1mm,超强抗干扰,动态CS 10V 为家用电器水位提醒的应用提供了一种简单而又有效的实现方式<iframe height=
    ICMAN 2025-03-14 16:46 76浏览
  • 万物互联时代,全屋智能正从概念走向现实,而蓝牙低功耗(BLE)技术凭借独特优势,已成为构建智慧家庭生态的核心驱动力之一。作为一项成熟且持续创新的无线通信协议,BLE技术不仅以“低功耗”定义行业标准,更凭借Mesh组网能力打破场景疆界,为智能家居设备提供了灵活、可靠、可扩展的解决方案,有力推动了全屋智能的落地应用。据中商产业研究院整理数据显示,2023年我国智能家居市场规模为7257亿元,预计到2024年将达7848亿元,到2025年将达到8526亿元,同比增长率约为10%。随着未来新房建设和老房
    华普微HOPERF 2025-03-14 17:08 60浏览
  • 文/Leon编辑/cc孙聪颖‍蛇年春晚最有意思的节目,一定非机器人跳舞莫属。就算是遥控或预编程,机器人能够做出如此复杂的动作,在五年前都是不敢想象的事情,其制造商宇树科技也因此火爆全网。就在春节过后不到一个月,会骑自行车的人形机器人诞生了。这背后,是近年来“具身智能”概念的迅猛发展。“我们造了一个跟人一样灵动的机器人!”3月11日,智元机器人联合创始人兼首席技术官彭志辉在微博上说道。在视频中,灵犀X2会骑自行车、能跳《科目三》,还可以与人促膝长谈,甚至拿起葡萄“穿针引线”。在全球人形机器人领域,
    华尔街科技眼 2025-03-17 12:38 90浏览
  • 一、引言:语音芯片的智能化浪潮在万物互联的智能化时代,语音交互技术已成为人机交互的重要纽带。从智能家电的提示音到儿童玩具的趣味互动,从工业设备的语音告警到公共服务设施的自动播报,语音播放芯片IC作为核心硬件支撑,正在重塑各行各业的用户体验。在众多解决方案中,WTN6、WT588、WT2003H、WTV四大系列产品,凭借差异化的技术特性构建了完整的语音芯片产品矩阵。本文将深度解析这四大主流芯片的技术特点与应用场景,为开发者提供选型参考。二、主流语音芯片技术特性全解析2.1 WTN6系列:高性价比的
    广州唯创电子 2025-03-17 09:04 123浏览
  • 在现代机械传动系统中,电机与传动轴的连接至关重要。正确的连接方式不仅能提高传动效率,还能延长设备的使用寿命。本文将探讨电机传动轴的几种常见连接方式及其优缺点。1.直接连接直接连接是将电机的输出轴与传动轴直接相连,通常采用联轴器进行连接。这种方式的优点是结构简单,传动效率高,适合于高转速和高精度的应用场合。然而,直接连接对对中精度要求较高,稍有偏差就可能导致振动和磨损。2.齿轮连接齿轮连接通过齿轮传动将电机的动力传递到传动轴。该方式的优点在于能够实现较大的转速变化和扭矩增益,适合于需要大功率和高扭
    博扬智能 2025-03-14 16:32 68浏览
  •        在工业物联网的世界里,设备之间的“语言不通”曾让无数工厂陷入效率泥潭。想象一个汽车制造车间:1980年代的老式PLC控制器用Modbus RTU协议“说话”,2020年的智能机械臂支持OPC UA协议,而散布在角落的电表和传感器则操着DLT645等不同“方言”。这种协议碎片化让数据互通成为奢望,直到广和通4G模块化身“工业翻译官”,用多协议兼容和边缘计算能力打破僵局。一、从“铁皮盒子”到“边缘大脑”的技术蜕变    &nb
    中科领创 2025-03-14 14:14 51浏览
  • 失效模式与影响分析(FMEA)失效模式与影响分析(FMEA)是一种系统方法,用于识别和分析系统或过程中的潜在失效,广泛应用于工程和制造领域,以提高产品可靠性和安全性。最新标准由 2019 年发布的 AIAG-VDA FMEA 手册(第一版) 定义,该手册结合了美国和欧洲汽车行业的最佳实践,并引入了 七步法,确保分析全面且结构化。图:优思学院六西格玛新版 FMEA 失效分析的七个步骤1. 规划与准备确定 FMEA 研究的 范围、边界和目标。组建跨职能团队(设
    优思学院 2025-03-17 14:43 78浏览
  • 近日,2025年GTI国际产业大会成功举办,活动上GTI Awards 2025获奖名单正式揭晓,紫光展锐连续三年斩获国际权威机构GTI颁发的大奖。此次,T8300凭借在5G技术创新和娱乐体验方面的卓越表现,荣获GTI“移动技术创新突破奖”(Innovative Breakthrough in Mobile Technology Award)。GTI是由中国移动、软银、沃达丰等运营商于2011年发起成立的国际产业合作平台。GTI Awards作为全球通信行业最具影响力的奖项之一,旨在表彰为行业
    紫光展锐 2025-03-14 17:35 66浏览
  • 一、问题现象:语音播放异常的典型表现在使用WT588F(E)系列语音芯片的开发过程中,工程师常会遇到以下两类典型异常现象:播放不全:语音仅播放前段内容后突然中断,或特定段落无法触发播放断续:音频输出存在明显卡顿、爆音或波形畸变某智能门锁项目实测数据显示,在首批样机中有2%的设备出现语音提示突然中断的情况,经排查发现电源电压在播放瞬间跌落至2.0V(低于芯片工作阈值)。这类问题的根源往往隐藏于硬件设计与系统协同的细节之中。二、核心机理:电压稳定性对语音芯片的影响2.1 电源系统的动态响应特性WT5
    广州唯创电子 2025-03-17 09:18 108浏览
  • 工艺工程师(Process Engineer)在工业生产中扮演着重要的角色,负责设计、优化和管理各种工业流程。这些流程通常涉及化学、物理或生物转化,旨在将原材料和能源转化为有用的产品。以下是关于工艺工程师角色、职责、技能和行业应用的详细分析,旨在为读者提供全面的理解。定义与范围根据 Wikipedia 的定义,工艺工程(Process Engineering)是理解和应用自然基本原理和定律,将原材料和能源在工业层面转化为有用产品的过程。它涵盖了化学、物理和生物流程的设计、操作
    优思学院 2025-03-14 12:26 52浏览
  • esp32s3使用platformio 点亮1.69寸TFT历程之LVGL移植 继上一篇我历经很久的时间点亮了1.69寸TFT之后。我开始进行LVGL的移植。开始LVGL的学习。用platformio 开发esp32s3真的好方便。按照上一节的环境。本次由于需要使用LVGL。打开platformio lib界面搜索LVGL。目前里面的版本是9.2.2。我使用的8.3.6。然后按照下图加载到自己的工程项目。待加载完毕后。我们会看到libdeps下面会出现LVGL库好了,这一步完成后。我们就开始移植
    zhusx123 2025-03-15 20:58 104浏览
  • 在求职路上,一直没能拿到理想的录用通知,真的要放低要求吗?对很多人来说,这个问题往往让人进退两难。期待中那个能够激发自我潜能又能带来丰厚回报的职位,似乎离自己遥不可及。可是眼看着账单越压越重,生活在缓缓拖累前行。在这种局面下,究竟该不该向现实妥协,先找一份工作再说?有些人会觉得,先就业意味着放弃理想,觉得一旦走上这条路,就难以回到最初的目标。但事实上,这种担忧常常让人陷入犹豫与停滞。路走不通时,不代表必须原地不动。有时选择一份尚可接受的工作,也能带来意想不到的机会。公司内部的人脉、行业的历练,乃
    优思学院 2025-03-14 17:12 64浏览
我要评论
0
0
点击右上角,分享到朋友圈 我知道啦
请使用浏览器分享功能 我知道啦