基于VCSEL神经元的超快神经形态光子图像处理平台

原创 MEMS 2022-06-12 00:00

据麦姆斯咨询报道,近期,英国思克莱德大学(University of Strathclyde)开发了一种硬件友好型神经形态光子脉冲处理器,其使用单个VCSEL,用于全光学图像边缘特征检测。这利用了基于VCSEL的光子神经元高速集成时间编码像素数据的能力,并在检测到所需图像特征时快速发射(100ps)光学脉冲。此外,光子系统与软件控制的脉冲神经网络相结合,为复杂的图像分类任务提供了一个完整的平台。因此,这项研究突显了基于VCSEL的新型、超快、全光学神经形态处理器平台的潜力,该处理器与当前的计算和通信系统相连接,可用于未来的光驱动人工智能(artificial intelligence,AI)和计算机视觉功能领域。


利用脉冲VCSEL神经元的图像处理技术


网络互联设备的大量使用,直接导致数据的可获得性不断提高,对更快、更高效的数据处理平台的需求不断增加。电子处理技术的发展缓解了其中的部分需求,展示了高计算吞吐量,并支持AI新系统的开发。然而,由于电子技术中的基本物理挑战,基于硅的平台的性能提升越来越有限,串扰、寄生电容和焦耳热均会限制电子系统的速度、带宽、占位面积和效率,进而促使许多研究人员探索未来数据处理系统的替代平台。

一种替代平台是基于光子学的系统,其具有更高的带宽、高能效、低串扰和快速运行等特点,有助于弥补先进电子学技术的一些限制。近年来,对光子人工神经网络(Artificial Neural Networks,ANN)和神经形态系统的研究正在兴起。光学器件,例如量子共振隧穿(quantum resonant tunnelling,QRT)结构、光学调制器、相变材料(phase-change materials,PCM)和半导体激光器(semiconductor lasers,SL)等,都已作为新型神经形态光子处理系统的候选对象进行了研究。其中,关于通过人工神经网络和储备池计算系统加速光子学中的信息处理方面的研究已经蓬勃发展。同样,在图像处理和计算机视觉领域取得巨大成功的卷积神经网络(Convolutional Neural Networks,CNN)也在光子学平台上得到实施,已提出诸如PCM、微环谐振器和调制器等器件来提高计算成本高的卷积运算的速度和效率。

与经典的人工神经网络一样,神经形态计算系统特别适用于众多任务处理,其中之一是图像和模式的分类和识别。与CNN类似,软件控制的神经形态脉冲神经网络(Spiking Neural Networks,SNN)已成功证明具有图像处理功能。此类SNN系统通过卷积和池化技术的组合来提取图像特征,并与动态视觉传感器(dynamic vision sensor,DVS)相机和单光子雪崩探测器(single photon avalanche detectors,SPAD)结合使用以执行图像处理任务。此外,研究还表明,由于只有网络的活动部分需要计算,因此SNN比CNN具有更低的能量操作要求和更小的延迟。总之,由神经形态光子器件构成的SNN在直接构建在光子学平台上的快速高效的图像处理系统的未来发展中显示出巨大潜力。

除此之外,半导体激光器还显示出作为高速人工光学脉冲神经元的能力,模拟大脑中生物神经元的功能和脉冲操作。在半导体激光器中,垂直腔面发射激光器(vertical cavity surface emitting lasers,VCSEL)因其独特的特性(如高速、易于集成在2D阵列中、与光纤的高耦合效率等)而备受关注。

近期,思克莱德大学的研究工作展示了一种通过基于VCSEL的硬件系统和全光学脉冲卷积运算构建的具有图像处理功能的平台。该平台使用单个VCSEL作为人工光学脉冲神经元,并结合时分复用技术,使其成为一个对硬件非常友好的平台。利用脉冲VCSEL神经元的集成和发射能力,可以同时处理多个高速光输入(100ps),每个输入都对不同的图像像素进行编码,以直接在光域中进行脉冲卷积运算。该功能被用于(复杂)源图像中的全光学边缘特征检测,显示其具有非常高的速度和噪声鲁棒性。

研究人员成功地对各种源图像进行了边缘特征检测,包括复杂图像(例如研究所的徽标)、机打数字和手写数字(MNIST数据库中的5000幅图像)。如机打的“数字4”32  x  32像素源图像的边缘检测的结果所示,“数字4”的垂直边缘由VCSEL神经元识别(发射脉宽为100 ps的脉冲)。当在图像中发现垂直边缘特征时,“垂直”内核会产生四个负输入脉冲群,而对于所有其他像素特征,则会产生较小的输入脉冲群。VCSEL神经元整合这些时间复用脉冲的组合能量,仅当所有四个脉冲群均为负时(总能量超过脉冲触发阈值)才会触发脉冲,以检测图像中的垂直边缘。对于所有其他情况,VCSEL神经元保持静止,因为编码输入脉冲群的组合能量没有超过脉冲触发阈值。

基于VCSEL神经元的黑白图像边缘检测


为了进一步测试该系统的能力,研究人员选择了一幅更复杂的源图像,即思克莱德大学(UoS)的323  × 323 像素RGB图像。结果表明,所有水平线、垂直线和对角线均被识别,进一步说明图像大小和复杂性均不会妨碍基于光子脉冲VCSEL的边缘检测系统的操作。重要的是,实现了96.63%的整体边缘检测精度。我们必须注意,每个像素的时间可以进一步减少到仅1ns(VCSEL神经元的脉冲耐受时间),而无需任何额外的优化过程,以实现更快的处理速度。

基于VCSEL神经元的复杂的大尺寸图像边缘检测


此外,研究人员还表明,基于VCSEL的神经形态光子硬件系统的光学脉冲输出可以馈送到软件控制的SNN中,并成功实现了手写数字图像的识别。此外,这种方法使用价格低廉的商用VCSEL,其工作波长为1300nm,因此允许与光通信网络和数据中心技术完全兼容。


基于集成和发射能力VCSEL神经元的MNIST手写数字边缘检测


研究人员还从理论上证明,具有更大维度(例如3  x 3)内核VCSEL神经元的运用对于实现更复杂的图像特征提取也是可能的。这意味着,无论是SNN(例如该研究中软件控制的SNN)还是针对特定特征的识别系统,VCSEL神经元有可能实现进一步的卷积任务。总体而言,研究人员认为,人工脉冲VCSEL神经元在未来高速、低能量、硬件友好的神经形态光子平台上显示出巨大的潜力。

论文信息:
Robertson, J., Kirkland, P., Alanis, J.A. et al. Ultrafast neuromorphic photonic image processing with a VCSEL neuron. Sci Rep 12, 4874 (2022).
https://doi.org/10.1038/s41598-022-08703-1

延伸阅读:
《传感应用的VCSEL技术及市场-2021版》

《VCSEL专利态势分析-2022版》
《VCSEL期刊文献检索与分析-2022版》


MEMS 中国首家MEMS咨询服务平台——麦姆斯咨询(MEMS Consulting)
评论
  • 近日,搭载紫光展锐W517芯片平台的INMO GO2由影目科技正式推出。作为全球首款专为商务场景设计的智能翻译眼镜,INMO GO2 以“快、准、稳”三大核心优势,突破传统翻译产品局限,为全球商务人士带来高效、自然、稳定的跨语言交流体验。 INMO GO2内置的W517芯片,是紫光展锐4G旗舰级智能穿戴平台,采用四核处理器,具有高性能、低功耗的优势,内置超微高集成技术,采用先进工艺,计算能力相比同档位竞品提升4倍,强大的性能提供更加多样化的应用场景。【视频见P盘链接】 依托“
    紫光展锐 2024-12-11 11:50 47浏览
  • 习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习笔记&记录学习习笔记&记学习学习笔记&记录学习学习笔记&记录学习习笔记&记录学习学习笔记&记录学习学习笔记记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&记
    youyeye 2024-12-10 16:13 105浏览
  • 【萤火工场CEM5826-M11测评】OLED显示雷达数据本文结合之前关于串口打印雷达监测数据的研究,进一步扩展至 OLED 屏幕显示。该项目整体分为两部分: 一、框架显示; 二、数据采集与填充显示。为了减小 MCU 负担,采用 局部刷新 的方案。1. 显示框架所需库函数 Wire.h 、Adafruit_GFX.h 、Adafruit_SSD1306.h . 代码#include #include #include #include "logo_128x64.h"#include "logo_
    无垠的广袤 2024-12-10 14:03 69浏览
  • 天问Block和Mixly是两个不同的编程工具,分别在单片机开发和教育编程领域有各自的应用。以下是对它们的详细比较: 基本定义 天问Block:天问Block是一个基于区块链技术的数字身份验证和数据交换平台。它的目标是为用户提供一个安全、去中心化、可信任的数字身份验证和数据交换解决方案。 Mixly:Mixly是一款由北京师范大学教育学部创客教育实验室开发的图形化编程软件,旨在为初学者提供一个易于学习和使用的Arduino编程环境。 主要功能 天问Block:支持STC全系列8位单片机,32位
    丙丁先生 2024-12-11 13:15 49浏览
  • 智能汽车可替换LED前照灯控制运行的原理涉及多个方面,包括自适应前照灯系统(AFS)的工作原理、传感器的应用、步进电机的控制以及模糊控制策略等。当下时代的智能汽车灯光控制系统通过车载网关控制单元集中控制,表现特殊点的有特斯拉,仅通过前车身控制器,整个系统就包括了灯光旋转开关、车灯变光开关、左LED前照灯总成、右LED前照灯总成、转向柱电子控制单元、CAN数据总线接口、组合仪表控制单元、车载网关控制单元等器件。变光开关、转向开关和辅助操作系统一般连为一体,开关之间通过内部线束和转向柱装置连接为多,
    lauguo2013 2024-12-10 15:53 81浏览
  • 全球知名半导体制造商ROHM Co., Ltd.(以下简称“罗姆”)宣布与Taiwan Semiconductor Manufacturing Company Limited(以下简称“台积公司”)就车载氮化镓功率器件的开发和量产事宜建立战略合作伙伴关系。通过该合作关系,双方将致力于将罗姆的氮化镓器件开发技术与台积公司业界先进的GaN-on-Silicon工艺技术优势结合起来,满足市场对高耐压和高频特性优异的功率元器件日益增长的需求。氮化镓功率器件目前主要被用于AC适配器和服务器电源等消费电子和
    电子资讯报 2024-12-10 17:09 84浏览
  • 一、SAE J1939协议概述SAE J1939协议是由美国汽车工程师协会(SAE,Society of Automotive Engineers)定义的一种用于重型车辆和工业设备中的通信协议,主要应用于车辆和设备之间的实时数据交换。J1939基于CAN(Controller Area Network)总线技术,使用29bit的扩展标识符和扩展数据帧,CAN通信速率为250Kbps,用于车载电子控制单元(ECU)之间的通信和控制。小北同学在之前也对J1939协议做过扫盲科普【科普系列】SAE J
    北汇信息 2024-12-11 15:45 74浏览
  • 时源芯微——RE超标整机定位与解决详细流程一、 初步测量与问题确认使用专业的电磁辐射测量设备,对整机的辐射发射进行精确测量。确认是否存在RE超标问题,并记录超标频段和幅度。二、电缆检查与处理若存在信号电缆:步骤一:拔掉所有信号电缆,仅保留电源线,再次测量整机的辐射发射。若测量合格:判定问题出在信号电缆上,可能是电缆的共模电流导致。逐一连接信号电缆,每次连接后测量,定位具体哪根电缆或接口导致超标。对问题电缆进行处理,如加共模扼流圈、滤波器,或优化电缆布局和屏蔽。重新连接所有电缆,再次测量
    时源芯微 2024-12-11 17:11 70浏览
  • 我的一台很多年前人家不要了的九十年代SONY台式组合音响,接手时只有CD功能不行了,因为不需要,也就没修,只使用收音机、磁带机和外接信号功能就够了。最近五年在外地,就断电闲置,没使用了。今年9月回到家里,就一个劲儿地忙着收拾家当,忙了一个多月,太多事啦!修了电气,清理了闲置不用了的电器和电子,就是一个劲儿地扔扔扔!几十年的“工匠式”收留收藏,只能断舍离,拆解不过来的了。一天,忽然感觉室内有股臭味,用鼻子的嗅觉功能朝着臭味重的方向寻找,觉得应该就是这台组合音响?怎么会呢?这无机物的东西不会腐臭吧?
    自做自受 2024-12-10 16:34 136浏览
  • RK3506 是瑞芯微推出的MPU产品,芯片制程为22nm,定位于轻量级、低成本解决方案。该MPU具有低功耗、外设接口丰富、实时性高的特点,适合用多种工商业场景。本文将基于RK3506的设计特点,为大家分析其应用场景。RK3506核心板主要分为三个型号,各型号间的区别如下图:​图 1  RK3506核心板处理器型号场景1:显示HMIRK3506核心板显示接口支持RGB、MIPI、QSPI输出,且支持2D图形加速,轻松运行QT、LVGL等GUI,最快3S内开
    万象奥科 2024-12-11 15:42 66浏览
我要评论
0
点击右上角,分享到朋友圈 我知道啦
请使用浏览器分享功能 我知道啦