什么是人类视觉能做到而计算机视觉所不能的?人类从三个维度感知世界,而深度传感器是实现更高级别机器视觉并释放自动驾驶功能的关键。EE Times Europe团队对当前3D视觉格局进行了研究,以期更清晰地了解其市场驱动因素、元器件供应商面临的机遇和挑战,以及实现更高级别深度敏感度的新兴技术。

什么是人类视觉能做到而计算机视觉所不能的?人类从三个维度感知世界,而深度传感器是实现更高级别机器视觉并释放自动驾驶功能的关键。

在传感技术最新发展的助力之下,越来越多的机器被赋予了感知、行动及与环境交互的能力。EE Times Europe团队对当前3D视觉格局进行了研究,以期更清晰地了解其市场驱动因素、元器件供应商面临的机遇和挑战,以及实现更高级别深度敏感度的新兴技术。

往纵深发展

根据 Yole Développement 的数据,在模块层面,3D 传感市场目前市值为 68亿美元,将以 15% 的复合年增长率增长,到 2026 年预计达到 150 亿美元。

“由于华为被禁,而且安卓阵营事实上放弃了3D传感技术,因此在移动和消费这类主要驱动市场的增长将有暂时的中断,”Yole Développement 光学和传感部门首席分析师Pierre Cambou告诉EE Times Europe。但另一方面,他又补充道,“苹果通过在 iPad 和 iPhone 中添加LiDAR 传感器又加速了这一趋势。”

3D在汽车领域的应用也在加速。LiDAR 传感器和座舱内 3D 摄像头越来越多地被采用,“我们对汽车市场的 3D 传感发展非常乐观,未来五年其市值应该会翻四倍。”(如图1)

图1:Yole预计汽车市场的3D传感市值将在未来五年内翻四倍。(来源:Yole Développement)

截至目前,较为流行的3D成像技术包括立体视觉、结构光和飞行时间(ToF)。

Cambou指出,立体视觉在10米以外的远程传感应用中表现极佳,例如大疆等公司提供的消费级无人机和梅赛德斯、捷豹和斯巴鲁等车型中的前视ADAS 摄像头。

结构光技术一直是1米以内短距离传感的首选方案。典型应用案例如苹果iPhone将其用于前置面部识别。该技术也用于某些工业应用中,如被Photoneo等公司采用。

Cambou还提到,TOF系统主要用于中程测距,目前主要有两种方法。一种是间接 ToF,2019 年和 2020 年,间接 ToF 被应用于来自华为、三星和 LG 等厂商的Android 手机的背面,主要用于拍照。另一种是直接ToF,苹果在其最先进的智能手机中采用了直接ToF方法。Cambou 指出,“直接ToF是LiDAR 中已经采用的技术(如Velodyne、Innoviz、Ibeo、Hesai 和 RoboSense等公司的产品),但最终可能会在接收侧使用矩阵形传感器。这类传感器由于来自自动驾驶市场的激励,正在取得进展。”

EELs 还是 VCSELs?

LiDAR 技术捕捉整个场景的能力使其在机器视觉应用中极具价值。获取三维点云最常用的两种系统为闪光LiDAR和扫描LiDAR。 Ams-Osram全球营销经理 Matthias Hoenig 表示,在扫描 LiDAR 系统中,聚焦脉冲激光束通过机械旋转镜或微机电系统 (MEMS) 镜定向到某个小的立体角。由于高功率激光束可以被控制发射到很小的立体角,因此与使用 3D 闪光系统可达到的距离相比,使用光学功率器件可达到的距离要远得多。“边缘发射激光器 [EEL] 是这种系统架构的理想产品,它通过一个很小的发射区域在极小空间内提供大量的光,因此在功率和射程方面均表现出色。”Hoenig指出。

现在已成为Ams子公司的欧司朗宣布,随着封装温度在应用过程中上升,其激光器在波导稳定性方面最近取得了不少进展,该公司目前正在探索面向LiDAR 应用的具有更多波长的产品。

Yole 预测,就激光二极管而言,EEL是目前最大的市场机会,但垂直腔面发射激光器 (VCSEL) 将会在未来迅速赶上。VCSEL可以将红外 LED 的高功率密度和简单封装优点与激光器的光谱宽度和速度结合起来。

“这项技术的优势包括出色的光束质量、简单的设计和小尺寸,这也解释了 VCSEL市场增长的原因,”Hoenig说。“虽然它们比 EEL 发射器需要更多的板载空间,但在某些应用领域又具有优势。”他解释到,例如,VCSEL所具有的辐射特性使其尤其适用于闪光 LiDAR 系统以及工业应用(如机器人和物流车辆等)中的主动立体视觉。

至于VCSEL相关的技术挑战,Hoenig 表示,Ams-Osram 正在研究更高的光输出。继2018 年收购 Vixar 之后,欧司朗相继展示了比单结 VCSEL 效率更高、速度更快的双结和三结VCSEL技术。在今年的美国西部光电展(Photonics West)上,又推出了基于多结技术的 PowerBoost VCSEL 产品组合。该公司表示,他们还在探索改善散热的各种方法,例如,从顶部发射组件改为底部发射组件。

Ams-Osram高级营销经理 Lei Tu 表示,所有常见的 3D 传感方法都依赖于各种系统构建模块之间的顺畅交互。通常,这些系统由光源、特殊光学器件、检测器和相应处理检测信号的下游软件组成。她还说,未来,“对Ams-Osram这样的元件制造商来说,重点将在以最佳方式满足客户的要求。这包括组件的小型化、光学性能和使用寿命的优化,当然还有易用性。” Tu补充道,有些客户喜欢“现成的即插即用解决方案”,而另一些客户则更倾向于自己组装单个元件,或借助第三方将它们组装成完整的解决方案。

用于盲点检测的深度和侧面感应

深度感知是指从三个维度看物体并测量物体距离的能力。LiDAR无疑充当了自动驾驶汽车的眼睛,许多汽车制造商都利用它来构建车辆周围环境的 3D 地图。不过,开发工作主要还是集中在具有较长检测范围(超过 200 米)但视野相对狭窄(约 20°至30°)的前置 LiDAR 系统。

2019年从德国Fraunhofer硅技术研究所 (ISIT) 独立出来的OQmented 公司正在努力改变这种状况。该公司表示,他们已开发出一种 MEMS 镜技术,可以使侧面 LiDAR 具有 180°视野。

OQmented 创始人兼董事总经理 Ulrich Hofmann 表示,“侧视 LiDAR 系统主要针对短距离”盲点检测。盲点检测是一项重要的安全功能,它使短距离侧扫系统“比远视系统更有意义”。例如,“在进入一个十字路口时,您需要这些LiDAR观察系统在短距离范围进行观察,因为这种环境中的行人、骑自行车的人和汽车都很多,很容易混乱并发生意外。出于这个原因,不仅在广角上有清晰的视角很重要,较高的横向分辨率也很重要,它可以区分不同的物体,包括静态和移动的物体。”

与平面玻璃盖不同,OQmented 在其 MEMS 镜器件顶部放置了一个曲面玻璃盖,用来实现激光束出入的封装,并实现 180°激光扫描。(见图2)Hofmann称,这种Bubble MEMS专利技术不仅提供了“密封真空封装和保护”,可以免受环境污染物的影响,而且还确保了激光束成功地传入和传出封装,因为激光束与玻璃的角度始终垂直。而使用平面玻璃盖时,情况就并非总是理想了。当扫描角度较大时,部分光线会在盖子处反射回封装中。Hofmann指出,这对于任何类型的LiDAR 解决方案都是不可接受的。

图2:Bubble MEME 技术的命名来源于OQmented MEMS 镜器件上方的曲面玻璃盖(来源:OQmented)

更接近数据源

图像传感器会生成大量的数据。尽管目前大部分处理都在云端或中央处理单元完成,但其发展趋势是使计算更接近数据源,并将智能因素嵌入传感器内部或附近。

Yole 公司的 Cambou 表示,通常情况下,数据采用H264技术压缩,这意味着它可以通过 100 Mbps 的带宽传输。“但在传感领域,数据流通常要大 10 到 100 倍——典型机器视觉数据流可达到1 Gbps ——而且,如果同时使用 10 个摄像头,则很快会达到 10 Gbps 甚至更高。由于CPU 不堪重负,靠近传感器进行数据处理的必要性越来越大。如果需要,所有预处理、清理和 AI 增强都必须在更靠近传感器的位置进行,以减轻 CPU 的负担。”

但是,目前还几乎没有计算能够在传感器本身进行,因为这会产生热量,Cambou指出。

前景展望

图像传感器是推动自动驾驶的一个关键因素,但却不能无限制地添加;因为它所需要的计算能力也会激增。Yole的分析师表示,有一种解决方案是提高数据质量。“但如果真的想解决自动驾驶问题,我们很快就会需要更多样化的解决方案。”

新技术不断涌现,用以提高灵敏度并构建可以看得更清楚的机器。 Cambou 指出了两个方向:神经拟态感知,即每个像素都充当神经元并嵌入一定程度的智能;以及量子成像,即单独检测每个光子。

总部位于法国的神经拟态初创公司 Prophesee 推出了基于事件的工业级视觉传感器:第三代 Metavision 传感器。Prophesee 产品营销和创新总监 Simone Lavizzari 表示:“如果将Metavision 传感器与 VCSEL 投影仪或其它可以投射合适图案的投影仪结合使用,就可以实现基于事件的结构光传感器。” 也就是说,当今最先进的深度传感技术在曝光时间、精确度和稳健性之间取得了平衡。

Lavizzari 说,将 IR 投影仪与 Prophesee 的 Metavision 传感器相结合,可为每个独立像素提供快速响应时间,进而允许直接在传感器内部进行时间模式识别和提取。“如果采用基于事件的传感器来做结构光,响应会非常快。我们可以将扫描时间提高 50 倍,只需1 毫秒就能获得完整的 3D 扫描,而传统基于帧的方法则需要10 到 33 毫秒。”其精确度也是最高标准的,但“软件复杂度已降至最低,因为不需要在后处理中做匹配工作。”

匹配不是在事件发生后在帧上完成,而是在传感器级逐个像素完成。Lavizzari说,其中一个优势是,“它没有运动模糊,因为可以非常快速地捕获点云,而且与户外应用兼容。” 超快脉冲检测不仅可以提高功率,同时还能保持该技术的人眼安全等级。

图3:(图片来源:Yole Développement)

在量子成像方面,Cambou 提到了 Gigajot Technology 的 Quanta Image Sensors (QIS),这是一款具有光子计数能力的单光子图像传感器。Gigajot是一家总部位于美国加州的初创公司,他们声称可以每帧每像素 1个光子的光子级别从一系列帧中重建动态场景。

(参考原文:Depth Sensing Takes Machine Vision into Another Dimension

责编:Amy Guan

本文为《电子工程专辑》2021年7月刊杂志文章,版权所有,禁止转载。点击申请免费杂志订阅 

本文为EET电子工程专辑原创文章,禁止转载。请尊重知识产权,违者本司保留追究责任的权利。
阅读全文,请先
您可能感兴趣
由于在满足所有要求方面存在不同的权衡,因此很难采用一种适用于所有情况的电流检测方法。
在经历了两年多的时间后,即2024年12月2日,赛微电子通过互动平台回应投资者提问时表示:“受外部客观因素影响,公司合肥项目已停止推进。”
短期全球芯片市场数据的上调反映了 2024 年第 2 季度和第 3 季度业绩的改善,尤其是在计算领域,受AI 芯片支持的需求推动。
石头科技董事长昌敬频繁出现在社交媒体上推广其创立的极石汽车品牌,活跃表现与石头科技股价的下跌形成了鲜明对比,加剧了投资者的不满情绪……
此次发布的iQOO Neo10系列不仅在性能上进行了全面升级,还在用户体验方面引入了多项创新技术,其中再次采用汇顶科技超声波指纹方案,引发了广泛关注。
UWB技术的精准定位需要与支付系统的安全性相结合。此外,UWB无感支付需要解决多人同时通过闸机时的精准识别问题,以及防止插队和误扣费等情况。
目前,智能终端NFC功能的使用频率越来越高,面对新场景新需求,ITMA多家成员单位一起联合推动iTAP(智能无感接近式协议)标准化项目,预计25年上半年发布1.0标准,通过功能测试、兼容性测试,确保新技术产业应用。
中科院微电子所集成电路制造技术重点实验室刘明院士团队提出了一种基于记忆交叉阵列的符号知识表示解决方案,首次实验演示并验证了忆阻神经-模糊硬件系统在无监督、有监督和迁移学习任务中的应用……
C&K Switches EITS系列直角照明轻触开关提供表面贴装 PIP 端子和标准通孔配置,为电信、数据中心和专业音频/视频设备等广泛应用提供创新的多功能解决方案。
投身国产浪潮向上而行,英韧科技再获“中国芯”认可
点击蓝字 关注我们安森美(onsemi)在2024年先后推出两款超强功率半导体模块新贵,IGBT模块系列——SPM31 IPM,QDual 3。值得注意的是,背后都提到采用了最新的FS7技术,主要性能
来源:苏州工业园区12月17日,江苏路芯半导体技术有限公司掩膜版生产项目迎来重要进展——首批工艺设备机台成功搬入。路芯半导体自2023年成立以来,专注于半导体掩膜版的研发与生产,掌握130nm至28n
有博主基于曝光的信息绘制了iPhone 17系列渲染图,对比iPhone 16系列,17系列最大变化是采用横置相机模组,背部DECO为条形跑道设计,神似谷歌Pixel 9系列,这是iPhone六年来的
对于华为来说,今年的重磅机型都已经发完了,而明年的机型已经在研发中,Pura 80就是期待很高的一款。有博主爆料称,华为Pura 80将会用上了豪威OV50K传感器,同时电池容量达到5600毫安时。至
又一地,新型储能机会来了?■ 印度:2032储能增长12倍,超60GW据印度国家银行SBI报告,印度准备大幅提升能源存储容量,预计到2032财年将增长12 倍,超60GW左右。这也将超过可再生能源本身
扫描关注一起学嵌入式,一起学习,一起成长在嵌入式开发软件中查找和消除潜在的错误是一项艰巨的任务。通常需要英勇的努力和昂贵的工具才能从观察到的崩溃,死机或其他计划外的运行时行为追溯到根本原因。在最坏的情
近期,高科视像、新视通、江苏善行智能科技等企业持续扩充COB产能。插播:加入LED显示行业群,请加VX:hangjia188■ 高科视像:MLED新型显示面板生产项目(二期)招标12月18日,山西高科
在上海嘉定叶城路1688号的极越办公楼里,最显眼的位置上,写着一句话:“中国智能汽车史上,必将拥有每个极越人的名字。”本以为这句话是公司的企业愿景,未曾想这原来是命运的嘲弄。毕竟,极越用一种极其荒唐的
点击蓝字 关注我们电网和可再生能源系统向着更智能、更高效的方向发展助力优化能源分配构建更加绿色和可靠的能源未来12 月 24 日 上午 9:30 - 11:302024 德州仪器新能源基础设施技术直播
极越汽车闪崩,留下一地鸡毛,苦的是供应商和车主。很多人都在关心,下一个倒下的新能源汽车品牌,会是谁?我们都没有未卜先知的超能力,但可以借助数据管中窥豹。近日,有媒体统计了15家造车新势力的销量、盈亏情