在手机、监控和汽车电子化等高度发达的今天,我们每个人都会拥有数个甚至十数个摄像头,摄像头的主要核心芯片是CMOS图像传感器。CMOS图像传感器的发展从二十多年前开始爆发到现在,每年的增长非常大,到2021年总规模约210亿美元。其中,随着新能源电动汽车的发展,车载领域的CMOS市场发展尤其突出。据统计,2021年全球车载摄像头出货量超过2亿颗,比上一年增长15%,2022年比去年又会增长20%以上。但是,车载CMOS领域也有一定的门槛、技术和挑战。

在手机、监控和汽车电子化等高度发达的今天,我们每个人都会拥有数个甚至十数个摄像头,摄像头的主要核心芯片是CMOS图像传感器。CMOS图像传感器的发展从二十多年前开始爆发到现在,每年的增长非常大,到2021年总规模约210亿美元。其中,随着新能源电动汽车的发展,车载领域的CMOS市场发展尤其突出。据统计,2021年全球车载摄像头出货量超过2亿颗,比上一年增长15%,2022年比去年又会增长20%以上。但是,车载CMOS领域也有一定的门槛、技术和挑战。

由跨国媒体AspenCore于2022年11月10日举办的2022国际集成电路展览会暨研讨会(IIC Shenzhen)上,思特威技术副总裁、技术研究院院长胡文阁先生分享了CMOS图像传感器在智能汽车领域方面的应用。

胡文阁(Mike Hu先生,毕业于北京大学,后在美国科罗拉多大学获得硕士学位,于1999年初开始CMOS图像传感器芯片的研发工作。2004年初回国参与了BYD微电子公司的创建,时任总工程师并兼管CMOS图像传感器产品部,带领团队先后成功开发出多款图像传感器芯片,产品技术处于国内前沿。2012年胡先生创立了深圳安芯微电子Allchip),率领团队成功开发了十多款车载CMOS单片成像传感器,集光电传感、图像信号处理及视频编码和传输多功能于一体,在同轴模拟视频格式(CVBS)的成像芯片领域都达到了国际先进水平,产品广泛应用于车载后视摄像头、电子门铃和探伤窥镜等小型监控设备。2020年加入思特威,任技术副总裁,负责思特威研发团队的管理并兼管深圳研发中心的工作。

CIS服务车载智能视觉应用主要分三类,一类是影像类的,包括后视和360°环视以及流媒体方面。第二类是感知方面,包括ADAS或者智能驾驶方面的应用,最重要的是前视和侧视。第三类是舱内In-cabin应用,主要是驾驶员的监控,乘客监控,以及行车记录仪DVR。

目前的高端智能汽车上,每辆车搭载的摄像头数量达到15颗以上。

影像类的应用,主要是后视和360°环视。它需要的数量是1颗到4颗,环视需要4颗。像素是100万到300万范围。流媒体应用主要是后视镜,很多后视镜和侧视镜的视频都会在一个大屏幕上显示出来,供驾驶员参考。这些方面对传感器的要求,主要是全程彩色,功耗要求比较低。

第一类:影像类CMOS

但是,当前车载CMOS具有挑战的是感知方面的应用,包括ADAS或者智能驾驶方面,其中前视是要求最高的,现在有单目、双目或者多目集中。分辨率从200万到800万像素,甚至在朝12MP和15MP高像素方面发展。

第二类:感知类CMOS

感知类CMOS必须有足够的分辨率,并且使用不同的镜头。有的用3颗来测距,不同的焦距测不同距离的场景。譬如对信号灯的识别、物体和车道的识别等场景都不相同,这些在自动驾驶方面非常关键。

另外侧视方面,一般有四个摄像头,因为距离比较小,分辨率要求较低,只需2MP-3MP。但是不同的场景有不同的要求,譬如以前普通的摄像机拍摄的图像视频有可能曝光时间覆盖不了LED刷屏的整个周期,导致拍出来的LED指示牌残缺不全。针对这种情况,思特威开发了一种LED闪烁抑制技术应用到感知系统。

此外还有HDR方面,行车过程中光线非常复杂,比如隧道很暗,外面有阳光就会很亮,这样对CMOS传感器就要求一个出色的HDR功能。

第三类是驾驶座舱内In-cabin应用,包括DMS、OMS、DVR。

DMS是对驾驶员状态进行监控,比如打瞌睡或者眼神不对,它就会提醒,所以现在驾驶员监控CMOS的装车量比较多。OMS(乘客监控)主要用在大巴和校车上。DVR行车记录仪一般需要前视、后视1-2颗,像素在2-8MP范围。

随着CMOS传感器的大量应用,汽车的智能化进程中,催生了传感器和AI人工智能进一步融合的需求。

现在的智能驾驶,车和它周边的车及路边设备之间的通信会越来越多,包括车以及车内各种各样的传感器,比如超声波、雷达、激光雷达、毫米波雷达等等,需要一个深度融合的过程,因此对智能汽车算力的要求越来越高。特别是基于视觉的智能驾驶,它的摄像头数量可以多至十几个,它的视频数据量非常大,加上分辨率要求非常高,因此对算力要求提出了很大的挑战。

“智能汽车目前趋向于往单车计算方向发展,一方面由云计算转移到车内计算,另一方面是转移到传感器中的计算。”胡文先生对智能汽车算力发展发表了的看法传感器与CMOS自己的图象处理,以及AI智能算法方面结合在一起,原始视频的数据就不需要传输,可以减少延时,也减少了中央计算平台的负荷,成本和功耗方面都会更趋向于平衡。”

基于这种方向和趋势,思特威顺势而为成立了新晋事业部:汽车芯片部,致力于车规级CMOS图像传感器技术的精进。

汽车芯片部的关键技术主要有夜视性能提升(LL)、动态范围提升(HDR),以及AEC-Q100&ISO26262 车规认证,同时在功耗方面保障降低功耗提升性能。

此外还有上面提到的LED闪烁抑制技术:LFS技术。

有了LED闪烁抑制技术,LED灯指示牌或者读秒(红绿灯剩多少秒)等会看得很清楚,而不至于残缺不全。

在ISP方面,思特威也在进一步精进。通过实际视频可以看到,LFS闪烁抑制打开之后,LED闪烁灯就能正常工作。否则LED字符显示就残缺不全。

思特威车规级CIS产品的夜视全彩图像显示能够非常通透,即使特别亮也能看得很清楚。

宽动态方面,思特威用的是PixGain HDR,在车辆的行进过程中拍摄不会有拖尾现象。

与车载宽动态不同,手机上是通过拍摄三四张图片合在一起进行处理:用短曝光时间拍亮的地方,长曝光拍暗的地方,合在一起得到宽动态。在车上却不能这样做,因为在拍摄过程中车辆已经移动,所以肯定有拖尾现象思特威的PixGain HDR技术,就是在像素里提供两种模式同时,还加了针对LED灯特殊的像素。这样,几个传感器同时拍摄然后把不同的信息叠加在一起,得到有LED抑制功能又能把明暗区分显示宽动态效果,这样才能适合车上使用

目前思特威车规级图像传感器有8款产品。

思特威八款车规级CMOS图像传感器

其中影像类5款,从100万像素到320万像素,大部分都有ISP及图像处理功能。感知类现在量产的是有200万像素,同时有300万、500万、800万的产品已经在内部测试其功能安全、可靠性验证等。舱内应用有800万和200万象素的产品。此外,还在做一个驾驶员监控产品,用全局曝光的技术,这是从工业类产品过来的。

思特威业绩

思特威2021年的销售额和销售量都上升到了世界第四,国内第二,在全球车载市场已经取得了很大的突破。

目前思特威有员工500多人,这还不包括生产测试人员。研发总部在上海,在北京、深圳、美国硅谷都有研发中心。其他几大城市都有客服、技术支持以及联络中心。

责编:Challey
本文为EET电子工程专辑原创文章,禁止转载。请尊重知识产权,违者本司保留追究责任的权利。
  • 万向碰撞传感器的车况态势感知监控,也很重要
阅读全文,请先
您可能感兴趣
9月10日,苹果发布了一系列新品,包括iPhone 16系列手机、Apple Watch Series 10智能手表和AirPods 4耳机。发布会后网上响起了一片吐嘈声,带着这些吐槽,我们来看看这次苹果到底有没有新玩意……
不管怎么样,英特尔仍在努力推进18A芯片工艺,以期未来在最先进的芯片工艺上能与台积电、三星有一定的领先优势,毕竟其已经率先拿到ASML两台最先进的High NA(高数值孔径)EUV光刻机。未来,英特尔没有选择,只有抓住任何的可能性,硬着头皮上。
一直听说x86指令集天生做不了低功耗,真的是这样吗?这篇文章着重谈谈酷睿Ultra二代是怎么考量低功耗的,有没有可能做到低功耗...
Xockets认为,英伟达凭借侵犯该企业专利的DPU产品垄断了AI GPU服务器市场,而微软则垄断了支持GPU的AI平台领域。此外,Xockets还称这两家科技公司就授权费建立了垄断同盟。
英伟达的CUDA生态系统和高性能AI GPU仍将作为核心竞争力,但要支撑其像以往那样的飞速的发展态势,必然要面临更大的挑战,或者已到增长的天花板。
近期,国产GPU企业象帝先遭遇发展困境。尽管公司对外否认了全员解散的传闻,但内部邮件和媒体报道均显示,象帝先已开始实施裁员,并寻求资金解决方案。
• 得益于西欧、关键亚洲市场和拉丁美洲市场的增长,以及中国品牌的持续领先,全球折叠屏手机出货量在2024年第二季度同比增长了48%。 • 荣耀凭借其在西欧特别强劲的表现,成为最大的贡献者,成为该地区排名第一的品牌。 • 摩托罗拉的Razr 40系列在北美和拉丁美洲表现良好,为其手机厂商的出货量贡献了三位数的同比增长。 • 我们预计,头部中国手机品牌厂商的不断增加将至少在短期内抑制三星Z6系列在第三季度的发布。
AI技术的发展极大地推动了对先进封装技术的需求,在高密度,高速度,高带宽这“三高”方面提出了严苛的要求。
奕斯伟计算2024首届开发者伙伴大会以“绿色、开放、融合”为主题,从技术创新、产品应用、生态建设等方面,向开发者、行业伙伴等相关方发出开放合作倡议,加速RISC-V在各行各业的深度融合和应用落地,共同推动RISC-V新一代数字基础设施生态创新和产业发展。
2024年 Canalys 中国云计算渠道领导力矩阵冠军厂商分别是:阿里云、华为云和亚马逊云科技(AWS)
点击蓝字 关注我们德州仪器全球团队坚持克服挑战,为电源模块开发新的 MagPack™ 封装技术,这是一项将帮助推动电源设计未来的突破性技术。  ■ ■ ■作为一名经验丰富的马拉松运动员,Kenji K
‍‍Mobileye 将终止内部激光雷达开发Mobileye 宣布终止用于自动驾驶的激光雷达的开发,并裁员 100 人。Mobileye 认为,下一代 FMCW 激光雷达对可脱眼的自动驾驶来说必要性没
据市场调查机构Allied Market Research的《单晶硅晶圆市场》报告指出,2022年单晶硅晶圆市场价值为109亿美元,预计到2032年将达到201亿美元,2023年~2032年的复合年均
在德国柏林举行的IFA 2024上,AMD计算和图形业务集团高级副总裁兼总经理Jack Huynh宣布,公司将把以消费者为中心的RDNA和以数据中心为中心CDNA架构统一为UDNA架构,这将为公司更有
疫情后的劳动力囤积和强有力的员工保护规则掩盖了德国高薪制造业工作市场令人担忧的变化。根据联邦劳工办公室的数据,欧元区最大经济体德国的失业率在2019年春季曾达到历史最低点4.9%,现已上升至6%。虽然
今日碎碎念由于所租的共享办公空间政策的调整,上周我和我队友又搬到开放共享空间了。所以,也就有了新同桌。从我的观察来看,新同桌们应该基于AI应用的创业型公司。之所以想起来叨叨这个,是因为两位新同桌正在工
展位信息深圳跨境电商展览会(CCBEC)时间:2024年9月11-13日 9:30-17:30地点:深圳国际会展中心(宝安)展馆:16号馆 16D73/16D75 展位报名注册准备好“观众注册”入场二
在苹果和华为的新品发布会前夕,Counterpoint公布了2024年第一季度的操作系统详细数据,数据显示, 鸿蒙操作系统在2024年第一季度继续保持强劲增长态势,全球市场份额成功突破4%。在中国市场