在手机、监控和汽车电子化等高度发达的今天,我们每个人都会拥有数个甚至十数个摄像头,摄像头的主要核心芯片是CMOS图像传感器。CMOS图像传感器的发展从二十多年前开始爆发到现在,每年的增长非常大,到2021年总规模约210亿美元。其中,随着新能源电动汽车的发展,车载领域的CMOS市场发展尤其突出。据统计,2021年全球车载摄像头出货量超过2亿颗,比上一年增长15%,2022年比去年又会增长20%以上。但是,车载CMOS领域也有一定的门槛、技术和挑战。
由跨国媒体AspenCore于2022年11月10日举办的2022国际集成电路展览会暨研讨会(IIC Shenzhen)上,思特威技术副总裁、技术研究院院长胡文阁先生分享了CMOS图像传感器在智能汽车领域方面的应用。
胡文阁(Mike Hu)先生,毕业于北京大学,后在美国科罗拉多大学获得硕士学位,于1999年初开始CMOS图像传感器芯片的研发工作。2004年初他回国参与了BYD微电子公司的创建,时任总工程师并兼管CMOS图像传感器产品部,带领团队先后成功开发出多款图像传感器芯片,产品技术处于国内前沿。2012年胡先生创立了深圳安芯微电子(Allchip),率领团队成功开发了十多款车载CMOS单片成像传感器,集光电传感、图像信号处理及视频编码和传输多功能于一体,在同轴模拟视频格式(CVBS)的成像芯片领域都达到了国际先进水平,产品广泛应用于车载后视摄像头、电子门铃和探伤窥镜等小型监控设备。2020年加入思特威,任技术副总裁,负责思特威研发团队的管理并兼管深圳研发中心的工作。
CIS服务车载智能视觉应用主要分三类,一类是影像类的,包括后视和360°环视以及流媒体方面。第二类是感知方面,包括ADAS或者智能驾驶方面的应用,最重要的是前视和侧视。第三类是舱内In-cabin应用,主要是驾驶员的监控,乘客监控,以及行车记录仪DVR。
目前的高端智能汽车上,每辆车搭载的摄像头数量达到15颗以上。
影像类的应用,主要是后视和360°环视。它需要的数量是1颗到4颗,环视需要4颗。像素是100万到300万范围。流媒体应用主要是后视镜,很多后视镜和侧视镜的视频都会在一个大屏幕上显示出来,供驾驶员参考。这些方面对传感器的要求,主要是全程彩色,功耗要求比较低。
第一类:影像类CMOS
但是,当前车载CMOS具有挑战的是感知方面的应用,包括ADAS或者智能驾驶方面,其中前视是要求最高的,现在有单目、双目或者多目集中。分辨率从200万到800万像素,甚至在朝12MP和15MP高像素方面发展。
第二类:感知类CMOS
感知类CMOS必须有足够的分辨率,并且使用不同的镜头。有的用3颗来测距,不同的焦距测不同距离的场景。譬如对信号灯的识别、物体和车道的识别等场景都不相同,这些在自动驾驶方面非常关键。
另外侧视方面,一般有四个摄像头,因为距离比较小,分辨率要求较低,只需2MP-3MP。但是不同的场景有不同的要求,譬如以前普通的摄像机拍摄的图像视频有可能曝光时间覆盖不了LED刷屏的整个周期,导致拍出来的LED指示牌残缺不全。针对这种情况,思特威开发了一种LED闪烁抑制技术应用到感知系统。
此外还有HDR方面,行车过程中光线非常复杂,比如隧道很暗,外面有阳光就会很亮,这样对CMOS传感器就要求一个出色的HDR功能。
第三类是驾驶座舱内In-cabin应用,包括DMS、OMS、DVR。
DMS是对驾驶员状态进行监控,比如打瞌睡或者眼神不对,它就会提醒,所以现在驾驶员监控CMOS的装车量比较多。OMS(乘客监控)主要用在大巴和校车上。DVR行车记录仪一般需要前视、后视1-2颗,像素在2-8MP范围。
随着CMOS传感器的大量应用,汽车的智能化进程中,催生了传感器和AI人工智能进一步融合的需求。
现在的智能驾驶,车和它周边的车及路边设备之间的通信会越来越多,包括车以及车内各种各样的传感器,比如超声波、雷达、激光雷达、毫米波雷达等等,需要一个深度融合的过程,因此对智能汽车算力的要求越来越高。特别是基于视觉的智能驾驶,它的摄像头数量可以多至十几个,它的视频数据量非常大,加上分辨率要求非常高,因此对算力要求提出了很大的挑战。
“智能汽车目前趋向于往单车计算方向发展,一方面由云计算转移到车内计算,另一方面是转移到传感器中的计算。”胡文阁先生对智能汽车的算力发展发表了他的看法,“传感器与CMOS自己的图象处理,以及AI智能算法方面结合在一起,原始视频的数据就不需要传输,可以减少延时,也减少了中央计算平台的负荷,成本和功耗方面都会更趋向于平衡。”
基于这种方向和趋势,思特威顺势而为成立了新晋事业部:汽车芯片部,致力于车规级CMOS图像传感器技术的精进。
汽车芯片部的关键技术主要有夜视性能提升(LL)、动态范围提升(HDR),以及AEC-Q100&ISO26262 车规认证,同时在功耗方面保障降低功耗提升性能。
此外还有上面提到的LED闪烁抑制技术:LFS技术。
有了LED闪烁抑制技术,LED灯指示牌或者读秒(红绿灯剩多少秒)等会看得很清楚,而不至于残缺不全。
在ISP方面,思特威也在进一步精进。通过实际视频可以看到,LFS闪烁抑制打开之后,LED闪烁灯就能正常工作。否则LED字符显示就残缺不全。
思特威车规级CIS产品的夜视全彩图像显示能够非常通透,即使特别亮也能看得很清楚。
宽动态方面,思特威用的是PixGain HDR,在车辆的行进过程中拍摄不会有拖尾现象。
与车载宽动态不同,手机上是通过拍摄三四张图片合在一起进行处理:用短曝光时间拍亮的地方,长曝光拍暗的地方,合在一起得到宽动态。在车上却不能这样做,因为在拍摄过程中车辆已经移动,所以肯定有拖尾现象。思特威的PixGain HDR技术,就是在像素里提供两种模式。同时,还增加了针对LED灯特殊的像素。这样,几个传感器同时拍摄,然后把不同的信息叠加在一起,得到有LED抑制功能又能把明暗区分显示的宽动态效果,这样才能适合在车上使用。
目前思特威车规级图像传感器有8款产品。
思特威八款车规级CMOS图像传感器
其中影像类5款,从100万像素到320万像素,大部分都有ISP及图像处理功能。感知类现在量产的是有200万像素,同时有300万、500万、800万的产品已经在内部测试其功能安全、可靠性验证等。舱内应用有800万和200万象素的产品。此外,还在做一个驾驶员监控产品,用全局曝光的技术,这是从工业类产品过来的。
思特威业绩
思特威2021年的销售额和销售量都上升到了世界第四,国内第二,在全球车载市场已经取得了很大的突破。
目前思特威有员工500多人,这还不包括生产测试人员。研发总部在上海,在北京、深圳、美国硅谷都有研发中心。其他几大城市都有客服、技术支持以及联络中心。
- 万向碰撞传感器的车况态势感知监控,也很重要