还记得你刚学会开车的时候吗?你爸或你妈当时可能会坐在副驾驶座上,不停碎碎念着──如果不是直接大呼小叫──要你注意这个、小心那个…把安全带系好,很快会有“家长”再次坐上你开的车子了!
根据EE Times的业界消息来源透露,从去年秋天以来,欧盟新车安全评鉴协会(Euro NCAP;此为一个民间自发性成立的车辆安全等级评鉴系统),将驾驶人监视系统(Driver Monitoring System,DMS)列为其发展蓝图中2020年的首要安全标准,各家汽车厂商与一级汽车零组件供应商(Tier Ones)就开始对该类技术争先恐后。
车厂并没有被强制规定要让车辆接受Euro NCAP的安全测试,但大多数新车款还是会去进行该协会的测试以取得安全评等,因为车厂们知道Euro NCAP评鉴结果在保险业者与消费者心目中占有很大份量。
到目前为止,市场上只有Cadillac CT6 (在去年秋天发表)、2018年式Audi A8以及2019年式的Subaru Forest (在上周举行的纽约车展上发表)这三款新车有配备DMS;而产业观察家表示,如果任何一家车厂想在2020年取得Euro NCAP的五颗星安全评等,去年就应该要有所准备,但大多数车厂并没有。
市场研究机构Semicast Research首席分析师Colin Barnden接受EE Times采访时曾表示,驾驶人监视系统是汽车领域最不被注意到的题材之一;但现在有两个幕后因素成为DMS的推手,一个是Euro NCAP所激励的商机,另一个则是先进驾驶人辅助系统(ADAS)与自动驾驶车辆的问世。还有最近发生的Uber与Tesla车辆意外事故,暴露了驾驶人使用“智能技术”而放松注意力之后,要在遭遇危机时重新全神贯注,是多么困难的一件事。
技术顾问机构VSI Labs创办人暨负责人Phil Magney坦承,他一直对DMS并不太感兴趣,但“最近的事故大幅提升了DMS在部份Level 2自动驾驶系统中的重要性;”他指出:“VSI已经检验Tesla的Autopilot系统大约六个月,我们确实看到Tesla方案中的某些弱点,而且那会导致系统的误用。在另一方面,我们最近曾花了点时间研究GM的Super Cruise系统,看到一种完全不同的方法;GM的系统更严苛,与该公司的保守策略一致。”
*当Super Cruise系统启动时,Cadillac CT6房车的方向盘会亮起绿色的灯号,所配备的摄影机会开始监视驾驶人
(来源:Cadillac)*
美国麻省理工学院MIT AgeLab研究员、也担任该校New England University Transportation Center 交通研究中心副主任的Bryan Reimer接受EE Times采访时表示:“人类是不可理喻的,就像是自动变速器成为能让驾驶人一边开车、一边发短信的转折点一样(如果你得手动换档就很难这样做),人类总是能利用新发现的自由来做一些别的(驾驶以外)事情。”
Semicast Research的Barnden则坚信,无论自动驾驶的程度如何,“一旦自动化技术进驻车辆,就是该导入DMS的时机。”
由MIT独立的公司Affectiva首席营销官Gabi Zijderveld表示,汽车产业对DMS技术的需求实际存在,该公司就正在开发一种称为“多模式座舱内AI传感解决方案”(multi-modal in-cabin AI sensing solution)的技术。
Affectiva具备透过人们的脸部表情与说话语气来分析其精神与情绪状态的专长:“我们在过去九年与《财富》(Fortune)五百大企业中的不少公司与广告业者合作,解读消费者对视频、广告与电视节目的反应;”Zijderveld解释,车厂与一级汽车零组件业者,包括“所有你想得到的豪华车辆品牌”,最初是找该公司帮忙了解乘客与驾驶人对自动驾驶出租车的感觉。
她表示,汽车产业因为剧烈变化的商业模式(例如共乘服务、自动驾驶出租车…等)、软件驱动车辆崛起而“面临威胁”,车厂感觉到了了解消费者与保护品牌地位的急迫性。不过在大约一年半以前,情况又有所改变──Affectiva注意到,汽车业者对该公司技术是否能被应用于驾驶监视的询问暴增:“他们问该技术是否能侦测驾驶能力损失(driving impairment)、酒精影响、压力、疲劳、头晕恶心等等情况,而所有这些问题,我们的答案都是肯定的。”
Semicast Research的Barnden表示,目前有三家公司在DMS技术跑得最快,包括澳洲业者Seeing Machines、瑞典业者Smart Eye AB,以及总部位于美国硅谷的FotoNation;其中Seeing Machines的早期DMS方案被导入GM的Super Cruise系统,Smart Eye技术则进驻Audi的中央驾驶辅助控制系统zFAS,因为前身为Delphi Automotive PLC的Aptive采用了Smart Eye的DMS技术并将之导入Audi车款。
FotoNation技术则被认为进驻了2019年式Subaru Forester休旅车;负责FotoNation座舱传感技术授权的业者Xperi Corp.车用业务总经理Jeff Jury,婉拒对此业界讯息发表评论,但透露FotoNation确实看到有19~20个不同车用平台对DMS逐渐增加的需求:“我们目前与至少五家拥有不同平台的业者合作,预期相关业务会随着时间进一步成长。”
而在去年秋天,Denso与FotoNation宣布,将连手开发“利用脸部影像识别与神经网络技术的下一代驾驶人状态监视器(Driver Status Monitor)”。
*2019年式Subaru Forester 的“DriverFocus”功能,能协助解决驾驶分心的问题;该车厂表示,该驾驶人监视系统是使用脸部识别软件,来判断驾驶人是否出现疲劳或分心的征兆
(来源:Subaru)*
所以那些DMS技术到底是如何运作?实际效果又如何?
自从驾驶人监视系统(Driver Monitoring System,DMS)被Euro NCAP列为其2020年首要安全标准,各大车厂与Tier One就开始对该类技术争先恐后…所以那些DMS技术到底是如何运作?实际效果又如何?
市场研究机构Semicast Research首席分析师Colin Barnden认为,驾驶人监视系统(DMS)将随着大规模布署而变得更好;他解释,DMS的发展已经将近二十年,虽然采用了多样化技术却一直没能进入主流市场,直到开始被应用于监视驾驶人的车内摄影机系统。
较早期的版本采用方向盘传感器,理论是转向角度传感器(steering angle sensor)能提供关于驾驶员疲劳的情报;而特斯拉(Tesla)则是利用了方向盘上的扭力传感器(torque sensors),让车辆能因此知道驾驶人的双手是否有放在方向盘上。
但Barnden指出:“在这方面,我们可以从大量的YouTube影片中证实驾驶人能骗过系统;”他补充指出,还有一种系统是利用飞行时间(time-of-flight)技术来判断驾驶人的头部位置。
相较于以上那些案例,现在的DMS已经有所进展;从Barnden的观点来看,大部分是因为改善的影像传感器、摄影机系统,以及能让系统追踪驾驶人眼睛视线的软件、甚至是透过太阳眼镜或是在夜间。
而期望能成为DMS解决方案供应商中第一把交椅的Affective认为,目前的系统在某种程度让仍然属于“初级”;该公司营销长Gabi Zijderveld接受EE Times采访时表示,DMS不只能追踪驾驶人点头打瞌睡、眼睛视线位置,还有眨眼甚至打哈欠:“我们还可以把声音加进去,”她指出,音讯能提供更完整的驾驶人精神状态信息:“我们不仅能侦测驾驶人说什么,还有说话的语气。”
*Affectiva的方案能监视驾驶人疲劳与分心的程度,以提供“恰当”的警报及干预,以矫正危险驾驶行为
(来源:Affectiva)*
Affectiva的计划是利用该公司已经收集的大量数据集──来自87个不同国家的650万个脸部视讯档案──来微调人工智能(AI)算法;Zijderveld表示:“不同于其他DMS供应商的解决方案通常是与特定硬件(例如摄影机)绑在一起,我们的方案是纯软件、不挑摄影机的技术。”
她进一步解释,深度学习需要大量数据,但应用于车载装置推理功能时:“我们压缩了我们的技术;”Affectiva的软件不只能在Nvidia的GPU上执行,也能在嵌入式系统的ECU上执行。
另一家技术供应商FotoNation的长处则在于专为DMS设计的“最强单摄影机”;FotoNation技术授权业者Xperi Corp.车用业务总经理Jeff Jury表示,该方案能根据车厂设计,弹性装设于车柱、仪表板或是后视镜:“我们的成像专门技术结合与Tier One、车厂在过去的密切合作关系,将创造巨大的产品差异化。”
Jury解释,毕竟就算有好的技术,如果你不知道该如何导入车辆以及如何满足Tier One与车场的需求,就很难取得设计订单;Xperi是FotoNation的母公司,旗下有其他消费性技术例如HD无线电或室内数字影院系统(DTS),有一些已经进驻汽车设计。
在众家DMS技术供应商中,Semicast Research的Barnden对Seeing Machine评价最高,大部分是因为这家澳洲公司的驾驶人安全系统(Driver Safety System,DSS)有多年市场经验,一开始该技术应用于采矿业;美国的采矿设备大厂Caterpillar就对Seeing Machine的DSS非常看重,该公司在2015年负责制造、营销Seeing Machine耐用的越野DSS产品。
Barnden表示,当Seeing Machine将其“睡眠研究”(Sleep Research)──能感知驾驶人注意力开始分散的“微睡眠”状态──与“人为因素研究”(Human Factors Research)结合并开发自家DMS,就已经超越其他竞争对手。
Youtube视频链接:https://www.youtube.com/watch?v=6gVek5XpVKQ
而他认为具备以摄影机为基础之DMS技术与AI专长的Smart Eye,则类似于能深度理解驾驶人的精神状态、参与度以及情绪。
DMS的准确度会是减少误报的关键,但在另一方面,更重要或者也更有问题的是,该系统如何在侦测到驾驶人疲劳或分心时提供警报──这其中的风险在于,警报是否会惹恼驾驶人,让他/她们就是不想要使用。
这时人为因素研究就能派上用场;就如同麻省理工学院(MIT)研究员Bryan Reimer对EE Times所言:“只是简单告知人类驾驶员不要做特定的事情──例如不要在开车时发电子邮件、发短信──是没有帮助的,因为他们不会听。”
而其中的诀窍在于取得驾驶人足够的信任,让他们一次次看到需要有那样的协助;将驾驶人的疏忽与DMS的提醒以更一致的方式联系起来,对驾驶人的接受度至关重要。
Reimer表示,举例来说,如果DMS判定驾驶人在操作车用收音机寻找新电台之前有适当注意路况,那应该就是没问题;不必要严苛地设计DMS在发现驾驶人分心2秒后就得发出警报。更重要的是DMS要知道驾驶人在注意力分散之前在做什么,系统设计最好能宽松一点,“让驾驶人被‘碎碎念’之前有3~4秒的缓冲时间,这能有更大的机会减少误报,最终有助于建立驾驶人与DMS技术之间的信任感。”
“人为因素研究”听起来似乎不像是一门科学,但Reimer表示,这是航空业曾经投注大量资源研究的题目,包括多少数据应该被显示于驾驶舱仪表板屏幕才适合飞行员阅读,或是航空塔台应该如何发出警报至驾驶舱,还有飞行员该如何训练等等,都包含在研究项目中,这是由航空业注重安全的文化所驱动。
不过Barnden表示:“可惜现在看来航空业与汽车产业之间,并没有在这类透过经验累积的知识上有什么分享交流。”
Reimer也是Affectiva的顾问团成员,他认为更实际、或许也更有效的方法,是将DMS视为一种“提醒(驾驶人分心的)工具,而非预防事故发生的工具;”虽然有DMS技术尝试采用更微妙的方法,目前的DMS应该要针对“更过份的案例”发出警报。
“这里当然是有一条界线,”Reimer对于如何正确对驾驶人发出警报这件事,他的看法是DMS应该在必要时采取逐步增强方法;而他认为现今市场上的DMS性能都还在基础水平:“就相当于第一代的iPhone,更多技术进展是有必要的。”
对于Tesla的驾驶人参与度系统(driver engagement system)──不采用摄影机来监视驾驶人──有所研究的技术顾问机构VSI Labs创办人暨负责人Phil Magney则表示,该系统在“量测驾驶人参与度方面做得相当好,”但他也指出:“我们对Tesla方案的唯一不满之处,在于他们过度慷慨地将系统关闭前的缓冲时间设定超过2分钟。”
车厂、Tier One与DMS技术供应商,都了解Euro NCAP想让驾驶人监视方案成为重要安全标配,但还不清楚会采用哪一种DMS方案。Euro NCAP文件是这样写的:
Euro NCAP设想对驾驶人监视系统采取鼓励措施,该类系统能有效侦测驾驶能力受损与注意力分散,并给予适当的警告并采取有效行动,例如启动安全避让操作(evasive maneuver)、跛行模式(limp home mode)、提升电子车身稳定控制系统敏感度、车道支持与速度…等等。
而对于“驾驶人监视系统”,Euro NCAP所下的批注是:“有效的驾驶人监测也会是自动驾驶成真的先决条件,以确保在需要的情况下,车辆控制权能被交还能驾驶车辆的适当驾驶人;这将会被列为自动驾驶人机接口(HMI)要求采用的项目。”
Euro NCAP指出,DMS的布署“是以阶段性规划,一开始采用市面上已有的系统;”此外,“评估将围绕着驾驶人状态能如何可靠且精确地被侦测,以及车辆根据信息将采取何种行动。在其他方面,如同驾驶人位置监测,可以被添加到未来版本的协议中。”
而Euro NCAP将如何定义DMS,也会决定技术供应商谁胜谁负;Barnden预期该协会将在短时间内公布更多技术细节。
编译:Judith Cheng
本文授权编译自EE Times,版权所有,谢绝转载
关注最前沿的电子设计资讯,请关注“电子工程专辑微信公众号”。