锐思智芯推出全球首款融合仿生事件视觉传感器ALPIX-Pilatus

MEMS 2021-10-31 00:00

近日,国内新锐企业锐思智芯发布了一款仿生视觉传感器芯片——ALPIX -Pilatus芯片(简称ALPIX-P),这一款芯片不仅与三星、索尼站在同一起跑线上,凭借其核心技术优势,未来很有可能打破三星、索尼等大厂在视觉传感领域的铜墙铁壁,为行业带来更多选择。



近几年,随着人工智能、计算机视觉等技术兴起,机器感知时代已经到来。传统摄像头因其响应慢、功耗大、拍摄运动物体模糊等痛点制约了计算机视觉技术的发展。事件相机的问世则解决这一困境,它仿造人眼视网膜的工作原理,具备对信息响应速度快、冗余数据少、功耗低、动态范围大等优势,因而适用于机器视觉。2015年,事件相机步入产业化阶段并应用于少数场景。

然而,在大部分真实场景中,事件驱动相机需要配合传统图像传感器来使用。而在事件驱动相机+传统图像传感器的双摄系统中,由于两颗摄像头的视角差别以及事件相机与传统图像传感器的数据类型不同,因而对于两路数据进行实时配准存在较大困难。因此,将传统图像传感器与事件相机在芯片层面结合起来成为未来发展方向。


锐思智芯自主研发了Hybrid Vision技术,即融合仿生视觉方案,将事件相机与传统视觉传感器合二为一,实现”静态”与”动态”的视觉融合。这一款芯片不仅与三星、索尼站在同一起跑线上,凭借其核心技术优势,未来很有可能打破三星、索尼等大厂在视觉传感领域的铜墙铁壁,为行业带来更多选择。

技术方面,其运作原理及优势主要体现在以下三方面,首先,将仿生视觉技术与传统图像传感器融合在同一芯片上,可同时输出高质量图像数据和事件流数据,实现了实时图像融合。其次,该方案的事件相机功能,为模仿人眼视网膜神经元的工作原理,基于事件进行驱动,只输出变化信息,其响应速度达到微秒级,全时域捕捉变化的信息。第三,延续传统图像传感器的技术优势,在图像拍摄模式时保证全幅画质和影像细节。

芯片工作原理


锐思智芯本次发布的ALPIX-Pilatus(简称ALPIX-P)即是基于”Hybrid Vision”开发而成,为全球首款将传统图像传感器技术和仿生事件相机技术在同一像素内融合的芯片。ALPIX-P可以在传统图像传感器模式和仿生事件相机模式间快速切换。在图像模式下,ALPIX-P是一款最高帧率为120帧的全局曝光传感器,与现有的传统图像传感器完全一致,并与现有成熟的视觉系统完全兼容。在仿生事件相机模式下,ALPIX-P具有超高帧率,高有效信息占比,大动态范围的特点。



目前该芯片已开始送样。也验证了”Hybrid Vision“技术在量产、成本、性能上具备落地可行性。


基于ALPIX-P的设计,锐思智芯研发了两个ALPIX系列传感器芯片产品,分别是ALPIX-Titlis(简称ALPIX-T)融合式低功耗仿生视觉传感与ALPIX-Eiger(简称ALPIX-E)融合式高端仿生视觉传感器。


在实现商业化落地上,锐思智芯向客户提供了两种服务模式,分别是:提供ALPIX芯片+基础SDK ,并支持客户相关应用开发;提供基于ALPIX芯片应用小模块即算法+模组(如交互、识别)、并支持客户上层应用开发。目前,锐思智芯已积累了一批alpha客户。未来,其芯片应用产品将会向手机等消费电子、汽车领域拓展。



国内唯一事件相机独立创企


正是因为事件相机能够解决传统 CIS 无法解决的难题,三星、索尼等视觉传感器大厂纷纷入局仿人眼视网膜的机器视觉传感器。一个月前,索尼半导体发布了两款全新的视觉传感器芯片,与传统 CIS 不同,这两款传感器芯片被称之为堆叠式事件监测视觉传感器(EVS, Event-based Vision Sensor)。后者仿照人眼视网膜的工作原理,每个像素都相当于一个视网膜细胞,独立工作,且只对变化敏感,也被称之为事件相机。不仅仅是索尼,三星也开发了系列芯片,入局事件相机行业。


“在事件相机领域,锐思智芯是目前国内唯一一家独立的创企。”锐思智芯创始人兼 CEO 邓坚表示。


据邓坚介绍,由于仿生视觉技术起源于瑞士,目前主要的技术团队主要集中在国外,包括法国的 Prophesee、瑞士的 insightness 和 inivation,其中瑞士的两家公司已经分别被索尼和三星收购,国内除了锐思智芯外,上海芯仑光电也涉足仿生视觉技术,不过目前芯仑光电已经被韦尔股份收购。

虽然是在国内创业,但与其他几个事件相机公司类似,锐思智芯核心团队来自瑞士,核心成员曾从事过各类高端传感器研发,如高端图像传感器、ToF、X ray、神经元信号探测芯片等。而锐思智芯的核心优势,主要体现创始团队的技术积累以及对技术难点的突破。


事实上,在真实拍摄场景中,机器视觉既需要事件信号做快速的预判,也需要图像信号做精细的判断或重建,因此既需要事件相机捕捉动态信息,也需要传统 CIS 呈现细节丰富的静态信息。


“现有的事件相机,由于其底层设计还是沿用比较传统的方式,存在一些问题,难以兼容输出图像信号,并且像素尺寸大,噪声大。”邓坚说。


正因如此,锐思智芯将仿生事件相机功能和 CIS 功能在像素层面融合,用一颗摄像头代替两颗摄像头,同一个像素中放置两套电路,一套用于生成事件信号,一套用于输出图像信号。这一技术,被锐思智芯命名为 Hybrid Vision 融合式仿生视觉技术。



不过由于一个像素内电路数量是传统 CIS 的十倍,设计难度也大大增加,同时也可能导致设计出的芯片像素面积大。


为解决这一问题,锐思智芯采用先进的 3D 堆叠工艺,将像素感光部分和图像信号输出电路放置上层晶圆,事件信号输出电路放置下层晶圆,然后通过铜互连技术将上下层晶圆的电路在每个像素上对应连接,既能大幅度减小像素尺寸,又能隔离不同电路之间的信号串扰,降低噪声。


回顾锐思智芯的融资历程,公司目前已完成两轮融资。

2019年底,公司完成数千万人民币天使轮融资,投资方为中科创星、联想创投。

2020年底,锐思智芯完成近亿元人民币Pre-A轮融资,由海康威视和耀途资本联合领投,同创伟业、讯飞创投、舜宇中央研究院、全志科技、追远创投跟投,老股东联想创投、中科创星继续加注。



MEMS 中国首家MEMS咨询服务平台——麦姆斯咨询(MEMS Consulting)
评论
  • 随着工业自动化和智能化的发展,电机控制系统正向更高精度、更快响应和更高稳定性的方向发展。高速光耦作为一种电气隔离与信号传输的核心器件,在现代电机控制中扮演着至关重要的角色。本文将详细介绍高速光耦在电机控制中的应用优势及其在实际工控系统中的重要性。高速光耦的基本原理及优势高速光耦是一种光电耦合器件,通过光信号传递电信号,实现输入输出端的电气隔离。这种隔离可以有效保护电路免受高压、电流浪涌等干扰。相比传统的光耦,高速光耦具备更快的响应速度,通常可以达到几百纳秒到几微秒级别的传输延迟。电气隔离:高速光
    晶台光耦 2024-12-20 10:18 139浏览
  • Supernode与艾迈斯欧司朗携手,通过Belago红外LED实现精准扫地机器人避障;得益于Belago出色的红外补光功能,使扫地机器人能够大大提升其识别物体的能力,实现精准避障;Belago点阵照明器采用迷你封装,兼容标准无铅回流工艺,适用于各种3D传感平台,包括移动设备、物联网设备和机器人。全球领先的光学解决方案供应商艾迈斯欧司朗(瑞士证券交易所股票代码:AMS)近日宣布,与国内领先的多行业三维视觉方案提供商超节点创新科技(Supernode)双方联合推出采用艾迈斯欧司朗先进Belago红
    艾迈斯欧司朗 2024-12-20 18:55 70浏览
  • 光耦固态继电器(SSR)作为现代电子控制系统中不可或缺的关键组件,正逐步取代传统机械继电器。通过利用光耦合技术,SSR不仅能够提供更高的可靠性,还能适应更加复杂和严苛的应用环境。在本文中,我们将深入探讨光耦固态继电器的工作原理、优势、挑战以及未来发展趋势。光耦固态继电器:如何工作并打破传统继电器的局限?光耦固态继电器通过光电隔离技术,实现输入信号与负载之间的电气隔离。其工作原理包括三个关键步骤:光激活:LED接收输入电流并发出与其成比例的光信号。光传输:光电传感器(如光电二极管或光电晶体管)接收
    腾恩科技-彭工 2024-12-20 16:30 46浏览
  • 光耦合器,也称为光隔离器,是用于电气隔离和信号传输的多功能组件。其应用之一是测量电路中的电压。本文介绍了如何利用光耦合器进行电压测量,阐明了其操作和实际用途。使用光耦合器进行电压测量的工作原理使用光耦合器进行电压测量依赖于其在通过光传输信号的同时隔离输入和输出电路的能力。该过程包括:连接到电压源光耦合器连接在电压源上。输入电压施加到光耦合器的LED,LED发出的光与施加的电压成比例。光电二极管响应LED发出的光由输出侧的光电二极管或光电晶体管检测。随着LED亮度的变化,光电二极管的电阻相应减小,
    腾恩科技-彭工 2024-12-20 16:31 55浏览
  • 耳机虽看似一个简单的设备,但不仅只是听音乐功能,它已经成为日常生活和专业领域中不可或缺的一部分。从个人娱乐到专业录音,再到公共和私人通讯,耳机的使用无处不在。使用高质量的耳机不仅可以提供优良的声音体验,还能在长时间使用中保护使用者听力健康。耳机产品的质量,除了验证产品是否符合法规标准,也能透过全面性的测试和认证过程,确保耳机在各方面:从音质到耐用性,再到用户舒适度,都能达到或超越行业标准。这不仅保护了消费者的投资,也提升了该公司在整个行业的产品质量和信誉!客户面临到的各种困难一家耳机制造商想要透
    百佳泰测试实验室 2024-12-20 10:37 146浏览
  • 百佳泰特为您整理2024年12月各大Logo的最新规格信息。——————————USB▶ 百佳泰获授权进行 USB Active Cable 认证。▶ 所有符合 USB PD 3.2 标准的产品都有资格获得USB-IF 认证——————————Bluetooth®▶ Remote UPF Testing针对所有低功耗音频(LE Audio)和网格(Mesh)规范的远程互操作性测试已开放,蓝牙会员可使用该测试,这是随时测试产品的又一绝佳途径。——————————PCI Express▶ 2025年
    百佳泰测试实验室 2024-12-20 10:33 113浏览
  • 汽车驾驶员监控系统又称DMS,是一种集中在车辆中的技术,用于实时跟踪和评估驾驶员状态及驾驶行为。随着汽车产业智能化转型,整合AI技术的DMS逐渐成为主流,AI模型通过大量数据进行持续训练,使得驾驶监控更加高效和精准。 驾驶员监测系统主要通过传感器、摄像头收集驾驶员的面部图像,定位头部姿势、人脸特征及行为特征,并通过各种异常驾驶行为检测模型运算来识别驾驶员的当前状态。如果出现任何异常驾驶行为(如疲劳,分心,抽烟,接打电话,无安全带等),将发出声音及视觉警报。此外,驾驶员的行为数据会被记录
    启扬ARM嵌入式 2024-12-20 09:14 94浏览
  • 汽车行业的变革正愈演愈烈,由交通工具到“第三生活空间”。业内逐渐凝聚共识:汽车的下半场在于智能化。而智能化的核心在于集成先进的传感器,以实现高等级的智能驾驶乃至自动驾驶,以及更个性、舒适、交互体验更优的智能座舱。毕马威中国《聚焦电动化下半场 智能座舱白皮书》数据指出,2026年中国智能座舱市场规模将达到2127亿元,5年复合增长率超过17%。2022年到2026年,智能座舱渗透率将从59%上升至82%。近日,在SENSOR CHINA与琻捷电子联合举办的“汽车传感系列交流会-智能传感专场”上,艾
    艾迈斯欧司朗 2024-12-20 19:45 77浏览
  • ALINX 正式发布 AMD Virtex UltraScale+ 系列 FPGA PCIe 3.0 综合开发平台 AXVU13P!这款搭载 AMD 16nm 工艺 XCVU13P 芯片的高性能开发验证平台,凭借卓越的计算能力和灵活的扩展性,专为应对复杂应用场景和高带宽需求而设计,助力技术开发者加速产品创新与部署。随着 5G、人工智能和高性能计算等领域的迅猛发展,各行业对计算能力、灵活性和高速数据传输的需求持续攀升。FPGA 凭借其高度可编程性和实时并行处理能力,已成为解决行业痛点的关
    ALINX 2024-12-20 17:44 70浏览
  • //```c #include "..\..\comm\AI8051U.h"  // 包含头文件,定义了硬件寄存器和常量 #include "stdio.h"              // 标准输入输出库 #include "intrins.h"         &n
    丙丁先生 2024-12-20 10:18 84浏览
  • 国产数字隔离器已成为现代电子产品中的关键部件,以增强的性能和可靠性取代了传统的光耦合器。这些隔离器广泛应用于医疗设备、汽车电子、工业自动化和其他需要强大信号隔离的领域。准确测试这些设备是确保其质量和性能的基本步骤。如何测试数字隔离器测试数字隔离器需要精度和正确的工具集来评估其在各种条件下的功能和性能。以下设备对于这项任务至关重要:示波器:用于可视化信号波形并测量时序特性,如传播延迟、上升时间和下降时间。允许验证输入输出信号的完整性。频谱分析仪:测量电磁干扰(EMI)和其他频域特性。有助于识别信号
    克里雅半导体科技 2024-12-20 16:35 59浏览
我要评论
0
点击右上角,分享到朋友圈 我知道啦
请使用浏览器分享功能 我知道啦