在手机、监控和汽车电子化等高度发达的今天,我们每个人都会拥有数个甚至十数个摄像头,摄像头的主要核心芯片是CMOS图像传感器。CMOS图像传感器的发展从二十多年前开始爆发到现在,每年的增长非常大,到2021年总规模约210亿美元。其中,随着新能源电动汽车的发展,车载领域的CMOS市场发展尤其突出。据统计,2021年全球车载摄像头出货量超过2亿颗,比上一年增长15%,2022年比去年又会增长20%以上。但是,车载CMOS领域也有一定的门槛、技术和挑战。

在手机、监控和汽车电子化等高度发达的今天,我们每个人都会拥有数个甚至十数个摄像头,摄像头的主要核心芯片是CMOS图像传感器。CMOS图像传感器的发展从二十多年前开始爆发到现在,每年的增长非常大,到2021年总规模约210亿美元。其中,随着新能源电动汽车的发展,车载领域的CMOS市场发展尤其突出。据统计,2021年全球车载摄像头出货量超过2亿颗,比上一年增长15%,2022年比去年又会增长20%以上。但是,车载CMOS领域也有一定的门槛、技术和挑战。

由跨国媒体AspenCore于2022年11月10日举办的2022国际集成电路展览会暨研讨会(IIC Shenzhen)上,思特威技术副总裁、技术研究院院长胡文阁先生分享了CMOS图像传感器在智能汽车领域方面的应用。

胡文阁(Mike Hu先生,毕业于北京大学,后在美国科罗拉多大学获得硕士学位,于1999年初开始CMOS图像传感器芯片的研发工作。2004年初回国参与了BYD微电子公司的创建,时任总工程师并兼管CMOS图像传感器产品部,带领团队先后成功开发出多款图像传感器芯片,产品技术处于国内前沿。2012年胡先生创立了深圳安芯微电子Allchip),率领团队成功开发了十多款车载CMOS单片成像传感器,集光电传感、图像信号处理及视频编码和传输多功能于一体,在同轴模拟视频格式(CVBS)的成像芯片领域都达到了国际先进水平,产品广泛应用于车载后视摄像头、电子门铃和探伤窥镜等小型监控设备。2020年加入思特威,任技术副总裁,负责思特威研发团队的管理并兼管深圳研发中心的工作。

CIS服务车载智能视觉应用主要分三类,一类是影像类的,包括后视和360°环视以及流媒体方面。第二类是感知方面,包括ADAS或者智能驾驶方面的应用,最重要的是前视和侧视。第三类是舱内In-cabin应用,主要是驾驶员的监控,乘客监控,以及行车记录仪DVR。

目前的高端智能汽车上,每辆车搭载的摄像头数量达到15颗以上。

影像类的应用,主要是后视和360°环视。它需要的数量是1颗到4颗,环视需要4颗。像素是100万到300万范围。流媒体应用主要是后视镜,很多后视镜和侧视镜的视频都会在一个大屏幕上显示出来,供驾驶员参考。这些方面对传感器的要求,主要是全程彩色,功耗要求比较低。

第一类:影像类CMOS

但是,当前车载CMOS具有挑战的是感知方面的应用,包括ADAS或者智能驾驶方面,其中前视是要求最高的,现在有单目、双目或者多目集中。分辨率从200万到800万像素,甚至在朝12MP和15MP高像素方面发展。

第二类:感知类CMOS

感知类CMOS必须有足够的分辨率,并且使用不同的镜头。有的用3颗来测距,不同的焦距测不同距离的场景。譬如对信号灯的识别、物体和车道的识别等场景都不相同,这些在自动驾驶方面非常关键。

另外侧视方面,一般有四个摄像头,因为距离比较小,分辨率要求较低,只需2MP-3MP。但是不同的场景有不同的要求,譬如以前普通的摄像机拍摄的图像视频有可能曝光时间覆盖不了LED刷屏的整个周期,导致拍出来的LED指示牌残缺不全。针对这种情况,思特威开发了一种LED闪烁抑制技术应用到感知系统。

此外还有HDR方面,行车过程中光线非常复杂,比如隧道很暗,外面有阳光就会很亮,这样对CMOS传感器就要求一个出色的HDR功能。

第三类是驾驶座舱内In-cabin应用,包括DMS、OMS、DVR。

DMS是对驾驶员状态进行监控,比如打瞌睡或者眼神不对,它就会提醒,所以现在驾驶员监控CMOS的装车量比较多。OMS(乘客监控)主要用在大巴和校车上。DVR行车记录仪一般需要前视、后视1-2颗,像素在2-8MP范围。

随着CMOS传感器的大量应用,汽车的智能化进程中,催生了传感器和AI人工智能进一步融合的需求。

现在的智能驾驶,车和它周边的车及路边设备之间的通信会越来越多,包括车以及车内各种各样的传感器,比如超声波、雷达、激光雷达、毫米波雷达等等,需要一个深度融合的过程,因此对智能汽车算力的要求越来越高。特别是基于视觉的智能驾驶,它的摄像头数量可以多至十几个,它的视频数据量非常大,加上分辨率要求非常高,因此对算力要求提出了很大的挑战。

“智能汽车目前趋向于往单车计算方向发展,一方面由云计算转移到车内计算,另一方面是转移到传感器中的计算。”胡文先生对智能汽车算力发展发表了的看法传感器与CMOS自己的图象处理,以及AI智能算法方面结合在一起,原始视频的数据就不需要传输,可以减少延时,也减少了中央计算平台的负荷,成本和功耗方面都会更趋向于平衡。”

基于这种方向和趋势,思特威顺势而为成立了新晋事业部:汽车芯片部,致力于车规级CMOS图像传感器技术的精进。

汽车芯片部的关键技术主要有夜视性能提升(LL)、动态范围提升(HDR),以及AEC-Q100&ISO26262 车规认证,同时在功耗方面保障降低功耗提升性能。

此外还有上面提到的LED闪烁抑制技术:LFS技术。

有了LED闪烁抑制技术,LED灯指示牌或者读秒(红绿灯剩多少秒)等会看得很清楚,而不至于残缺不全。

在ISP方面,思特威也在进一步精进。通过实际视频可以看到,LFS闪烁抑制打开之后,LED闪烁灯就能正常工作。否则LED字符显示就残缺不全。

思特威车规级CIS产品的夜视全彩图像显示能够非常通透,即使特别亮也能看得很清楚。

宽动态方面,思特威用的是PixGain HDR,在车辆的行进过程中拍摄不会有拖尾现象。

与车载宽动态不同,手机上是通过拍摄三四张图片合在一起进行处理:用短曝光时间拍亮的地方,长曝光拍暗的地方,合在一起得到宽动态。在车上却不能这样做,因为在拍摄过程中车辆已经移动,所以肯定有拖尾现象思特威的PixGain HDR技术,就是在像素里提供两种模式同时,还加了针对LED灯特殊的像素。这样,几个传感器同时拍摄然后把不同的信息叠加在一起,得到有LED抑制功能又能把明暗区分显示宽动态效果,这样才能适合车上使用

目前思特威车规级图像传感器有8款产品。

思特威八款车规级CMOS图像传感器

其中影像类5款,从100万像素到320万像素,大部分都有ISP及图像处理功能。感知类现在量产的是有200万像素,同时有300万、500万、800万的产品已经在内部测试其功能安全、可靠性验证等。舱内应用有800万和200万象素的产品。此外,还在做一个驾驶员监控产品,用全局曝光的技术,这是从工业类产品过来的。

思特威业绩

思特威2021年的销售额和销售量都上升到了世界第四,国内第二,在全球车载市场已经取得了很大的突破。

目前思特威有员工500多人,这还不包括生产测试人员。研发总部在上海,在北京、深圳、美国硅谷都有研发中心。其他几大城市都有客服、技术支持以及联络中心。

责编:Challey
本文为EET电子工程专辑原创文章,禁止转载。请尊重知识产权,违者本司保留追究责任的权利。
  • 万向碰撞传感器的车况态势感知监控,也很重要
阅读全文,请先
您可能感兴趣
股东诉讼指控英伟达的首席执行官黄仁勋隐藏了公司记录性收入增长主要由其旗舰产品GeForce GPU的挖矿销售驱动,而非游戏销售,导致投资者对公司的盈利来源和风险敞口产生错误认知。
今年初的GTC上,黄仁勋就说机器人的“ChatGPT时刻”要来了。也就是说这波AI驱动的机器人热潮要来了...最近的ROSCon China 2024大会似乎也能看到这种迹象...
近日,华为终端BG CEO何刚在和紫牛基金创始合伙人张泉灵的对话中表示,华为Mate 70系列每一颗芯片都有国产的能力。此外,日前在深圳宝安中学的一场讲座中,华为终端BG 董事长余承东也自豪地宣布Mate70实现了芯片的100%国产化。
华为Mate 70系列中的Mate 70搭载了麒麟9010芯片,而Mate 70 Pro/Pro+/RS则首发了麒麟9020芯片。近日,百万粉丝的网红博主@杨长顺维修家 对华为Mate 70 RS进行了拆解……
常情况下,英特尔的CEO在65岁时退休,而现年63岁的基辛格突然被退休,让市场感到意外。为了确保平稳过渡,英特尔董事会立即着手寻找新的CEO人选……
Intel刚刚发布了新一代桌面显卡Arc B580和B570,关键是还支持AI帧生成和低延迟...
目前,智能终端NFC功能的使用频率越来越高,面对新场景新需求,ITMA多家成员单位一起联合推动iTAP(智能无感接近式协议)标准化项目,预计25年上半年发布1.0标准,通过功能测试、兼容性测试,确保新技术产业应用。
中科院微电子所集成电路制造技术重点实验室刘明院士团队提出了一种基于记忆交叉阵列的符号知识表示解决方案,首次实验演示并验证了忆阻神经-模糊硬件系统在无监督、有监督和迁移学习任务中的应用……
C&K Switches EITS系列直角照明轻触开关提供表面贴装 PIP 端子和标准通孔配置,为电信、数据中心和专业音频/视频设备等广泛应用提供创新的多功能解决方案。
投身国产浪潮向上而行,英韧科技再获“中国芯”认可
近期,多个储能电站项目上新。■ 乐山电力:募资2亿建200MWh储能电站12月17日晚,乐山电力(600644.SH)公告,以简易程序向特定对象发行A股股票申请已获上交所受理,募集资金总额为2亿元。发
‍‍12月18日,深圳雷曼光电科技股份有限公司(下称“雷曼光电”)与成都辰显光电有限公司(下称“辰显光电”)在成都正式签署战略合作协议。双方将充分发挥各自在技术创新、产品研发等方面的优势,共同推进Mi
投资界传奇人物沃伦·巴菲特,一位94岁的亿万富翁,最近公开了他的遗嘱。其中透露了一个惊人的决定:他计划将自己99.5%的巨额财富捐赠给慈善机构,而只将0.5%留给自己的子女。这引起了大众对于巴菲特家庭
来源:IT之家12 月 18 日消息,LG Display 韩国当地时间今日宣布,已将自行开发的“AI 生产系统”投入到 OLED 生产线的日常运行之中,该系统可提升 LG Display 的 OLE
“ 洞悉AI,未来触手可及。”整理 | 美股研究社在这个快速变化的时代,人工智能技术正以前所未有的速度发展,带来了广泛的机会。《AI日报》致力于挖掘和分析最新的AI概念股公司和市场趋势,为您提供深度的
 “ 担忧似乎为时过早。 ”作者 | RichardSaintvilus编译 | 华尔街大事件由于担心自动驾驶汽车可能取消中介服务,Uber ( NYSE: UBER ) 的股价在短短几周内从 202
近期,高科视像、新视通、江苏善行智能科技等企业持续扩充COB产能。插播:加入LED显示行业群,请加VX:hangjia188■ 高科视像:MLED新型显示面板生产项目(二期)招标12月18日,山西高科
又一地,新型储能机会来了?■ 印度:2032储能增长12倍,超60GW据印度国家银行SBI报告,印度准备大幅提升能源存储容量,预计到2032财年将增长12 倍,超60GW左右。这也将超过可再生能源本身
今天上午,联发科宣布新一代天玑芯片即将震撼登场,新品会在12月23日15点正式发布。据悉,这场发布会联发科将推出全新的天玑8400处理器,这颗芯片基于台积电4nm制程打造,采用Arm Cortex A
亲爱的企业用户和开发者朋友们距离2024 RT-Thread开发者大会正式开幕仅剩最后3天!还没报名的小伙伴,抓紧报名噢,12月21日不见不散!大会时间与地点时间:2024年12月21日 9:30-1