近日,国内新锐企业锐思智芯发布了一款仿生视觉传感器芯片——ALPIX -Pilatus芯片(简称ALPIX-P),这一款芯片不仅与三星、索尼站在同一起跑线上,凭借其核心技术优势,未来很有可能打破三星、索尼等大厂在视觉传感领域的铜墙铁壁,为行业带来更多选择。
近几年,随着人工智能、计算机视觉等技术兴起,机器感知时代已经到来。传统摄像头因其响应慢、功耗大、拍摄运动物体模糊等痛点制约了计算机视觉技术的发展。事件相机的问世则解决这一困境,它仿造人眼视网膜的工作原理,具备对信息响应速度快、冗余数据少、功耗低、动态范围大等优势,因而适用于机器视觉。2015年,事件相机步入产业化阶段并应用于少数场景。
然而,在大部分真实场景中,事件驱动相机需要配合传统图像传感器来使用。而在事件驱动相机+传统图像传感器的双摄系统中,由于两颗摄像头的视角差别以及事件相机与传统图像传感器的数据类型不同,因而对于两路数据进行实时配准存在较大困难。因此,将传统图像传感器与事件相机在芯片层面结合起来成为未来发展方向。
锐思智芯自主研发了Hybrid
Vision技术,即融合仿生视觉方案,将事件相机与传统视觉传感器合二为一,实现”静态”与”动态”的视觉融合。这一款芯片不仅与三星、索尼站在同一起跑线上,凭借其核心技术优势,未来很有可能打破三星、索尼等大厂在视觉传感领域的铜墙铁壁,为行业带来更多选择。技术方面,其运作原理及优势主要体现在以下三方面,首先,将仿生视觉技术与传统图像传感器融合在同一芯片上,可同时输出高质量图像数据和事件流数据,实现了实时图像融合。其次,该方案的事件相机功能,为模仿人眼视网膜神经元的工作原理,基于事件进行驱动,只输出变化信息,其响应速度达到微秒级,全时域捕捉变化的信息。第三,延续传统图像传感器的技术优势,在图像拍摄模式时保证全幅画质和影像细节。
锐思智芯本次发布的ALPIX-Pilatus(简称ALPIX-P)即是基于”Hybrid
Vision”开发而成,为全球首款将传统图像传感器技术和仿生事件相机技术在同一像素内融合的芯片。ALPIX-P可以在传统图像传感器模式和仿生事件相机模式间快速切换。在图像模式下,ALPIX-P是一款最高帧率为120帧的全局曝光传感器,与现有的传统图像传感器完全一致,并与现有成熟的视觉系统完全兼容。在仿生事件相机模式下,ALPIX-P具有超高帧率,高有效信息占比,大动态范围的特点。
目前该芯片已开始送样。也验证了”Hybrid Vision“技术在量产、成本、性能上具备落地可行性。
基于ALPIX-P的设计,锐思智芯研发了两个ALPIX系列传感器芯片产品,分别是ALPIX-Titlis(简称ALPIX-T)融合式低功耗仿生视觉传感与ALPIX-Eiger(简称ALPIX-E)融合式高端仿生视觉传感器。
在实现商业化落地上,锐思智芯向客户提供了两种服务模式,分别是:提供ALPIX芯片+基础SDK
,并支持客户相关应用开发;提供基于ALPIX芯片应用小模块即算法+模组(如交互、识别)、并支持客户上层应用开发。目前,锐思智芯已积累了一批alpha客户。未来,其芯片应用产品将会向手机等消费电子、汽车领域拓展。
正是因为事件相机能够解决传统
CIS
无法解决的难题,三星、索尼等视觉传感器大厂纷纷入局仿人眼视网膜的机器视觉传感器。一个月前,索尼半导体发布了两款全新的视觉传感器芯片,与传统
CIS 不同,这两款传感器芯片被称之为堆叠式事件监测视觉传感器(EVS, Event-based Vision
Sensor)。后者仿照人眼视网膜的工作原理,每个像素都相当于一个视网膜细胞,独立工作,且只对变化敏感,也被称之为事件相机。不仅仅是索尼,三星也开发了系列芯片,入局事件相机行业。
“在事件相机领域,锐思智芯是目前国内唯一一家独立的创企。”锐思智芯创始人兼 CEO 邓坚表示。
据邓坚介绍,由于仿生视觉技术起源于瑞士,目前主要的技术团队主要集中在国外,包括法国的
Prophesee、瑞士的 insightness 和
inivation,其中瑞士的两家公司已经分别被索尼和三星收购,国内除了锐思智芯外,上海芯仑光电也涉足仿生视觉技术,不过目前芯仑光电已经被韦尔股份收购。虽然是在国内创业,但与其他几个事件相机公司类似,锐思智芯核心团队来自瑞士,核心成员曾从事过各类高端传感器研发,如高端图像传感器、ToF、X ray、神经元信号探测芯片等。而锐思智芯的核心优势,主要体现创始团队的技术积累以及对技术难点的突破。
事实上,在真实拍摄场景中,机器视觉既需要事件信号做快速的预判,也需要图像信号做精细的判断或重建,因此既需要事件相机捕捉动态信息,也需要传统 CIS 呈现细节丰富的静态信息。
“现有的事件相机,由于其底层设计还是沿用比较传统的方式,存在一些问题,难以兼容输出图像信号,并且像素尺寸大,噪声大。”邓坚说。
正因如此,锐思智芯将仿生事件相机功能和 CIS 功能在像素层面融合,用一颗摄像头代替两颗摄像头,同一个像素中放置两套电路,一套用于生成事件信号,一套用于输出图像信号。这一技术,被锐思智芯命名为 Hybrid Vision 融合式仿生视觉技术。
不过由于一个像素内电路数量是传统 CIS 的十倍,设计难度也大大增加,同时也可能导致设计出的芯片像素面积大。
为解决这一问题,锐思智芯采用先进的 3D 堆叠工艺,将像素感光部分和图像信号输出电路放置上层晶圆,事件信号输出电路放置下层晶圆,然后通过铜互连技术将上下层晶圆的电路在每个像素上对应连接,既能大幅度减小像素尺寸,又能隔离不同电路之间的信号串扰,降低噪声。
2019年底,公司完成数千万人民币天使轮融资,投资方为中科创星、联想创投。2020年底,锐思智芯完成近亿元人民币Pre-A轮融资,由海康威视和耀途资本联合领投,同创伟业、讯飞创投、舜宇中央研究院、全志科技、追远创投跟投,老股东联想创投、中科创星继续加注。