要讨论自动驾驶车辆(autonomous vehicle,AV)的安全性可靠度,在某种程度上需要诸如Waymo、Uber或GM等公司证明他们的自驾车具备商业布署的安全性;而车厂们则必须要证明他们的AI驱动车辆能符合法规与严格的标准。
他们接下来需要回答的几个问题是:
• 符合哪些安全标准?
• 谁订定了那些标准?
• 车辆是如何接受测试?
• 谁会负责“评鉴”自驾车的安全性?
• 我们应该相信那些评鉴员吗?
这些问题都不容易回答;此外,安全标准,特别是针对AI驱动的车辆订定之标准,总有很多额外的弯弯绕绕以及大量的限制条款。
简单来说,以AI为基础的自动驾驶车辆,是在车辆“黑盒子”里的机器学习算法上运作,内部的,内部原理本质上是机率性(probabilistic)的,几乎不可能决定它们为什么做出什么决策。既是如此,科技业者与车厂要以什么策略来验证自驾车的安全性?
还有:
• 大众是否会接受汽车产业在传统上全部是自己认证自家车辆安全性的做法?而可能还有人记得,美国联邦航空管理局(FAA)──该机构显然没有过去大家所认为的那么独立──认证过波音737 Max客机的机动特性增强系统(MCAS),仍然造成了空难悲剧。
• 任何安全性标准是否能跟上快速演进的算法,以及由自驾车业者布署的软件程序代码?
• 难道不该谨慎考虑到自驾车安全标准可能有效性周期很短,而且注定会很快、很频繁过时?
UL4600标准草案
在此背景之下,目前正在订定一套“自动化产品评估安全标准”(Standard for Safety for the Evaluation of Autonomous Products)──即为UL4600──的安全认证服务业者Underwriters Labs (UL)表示,其安全标准技术小组(Standards Technical Panel,STP)已于6月中旬进行第一次会议,审查并讨论初步标准草案。
为此EE Times询问了上述标准草案主要技术贡献者,Edge Case Research共同创办人暨技术长Phil Koopman。尽管首次草案审查会议纪录并未公开,Koopman表示,这场会议“非常正面而且具建设性;”参与会议的成员触及了所有必须找出解决方案的UL 4600标准主要问题。
谁参与了标准订定?
根据UL的官网,UL 4600标准小组有30个左右具备投票权的STP成员参与,包括四家芯片供货商──Nvidia、Renesas、Intel和Infineon──以及商用自驾车使用者与开发者,如GM、Uber、Nio、Bosch、Argo AI与Aurora。而美国运输部(Department of Transportation,DoT)与宾州监理所(Pennsylvania DoT)都有派出代表参加。
有趣的是,参与UL 4600标准订定的STP成员还包括三家保险业者:AXA、Liberty Mutual与Munich Re America。
为了追求透明度与更宽广的包容度,UL 4600标准小组正在征求任何有意愿注册为“利害关系人”(stakeholder)的责任方;一旦注册完成并获得批准,利害关系人可以要求审查标准草案并提出意见。Koopman解释,虽然利益相关者没有投票权,有它们加入非常重要,因为能确保一个“非常公开的程序”,而且标志着自驾车安全性是“公共政策议题”。
UL 4600与ISO 26262以及ISO/PAS 21448的比较
UL 4600是相对较新的车辆安全标准,目前已经存在的标准是ISO 26262,而ISO/PAS 21448──即预期功能性(safety of the intended functionality)安全标准──仍在开发中;最常被问到的UL 4600相关问题就是:为什么还需要另一个车辆标准?
Koopman强调,UL 4600标准小组与ISO 26262、ISO/PAS 21488的领导者有密切联系,而他明确指出:“解决潜在的标准重迭是持续性的工作。”
(来源:Phil Koopman, Edge Case Research)
以自驾车系统没有负责的驾驶人为预设来订定安全标准,是UL 4600与其他标准最大的差异。相反的,“现有标准如ISO 26262、ISO/PAS 21488,是设想车辆终究还是有一位能安全操作车辆的驾驶员;”Koopman认为,自驾车与其他自动驾驶系统内的技术超出了那些标准以及其他传统安全标准的范畴:“现有的标准都是必要的,但不够。”
你想过这个吗?
换句话说,在自驾车的开发上,Koopman相信车辆设计工程师很快会发现一堆他们以前从没想过的问题;而像是「没有人类驾驶员的车辆之普遍性影响」这类的议题,他都归类在“你想过这个吗?”的大标题之下。
此外,可预期UL 4600与其他标准相较,更具时效性(prescriptive)。Koopman表示,ISO 26262、ISO/PAS 21488标准是瞄准了一个“目标”来提供安全性,UL 4600则是提供“靶心”;举例来说,UL 4600会预期车辆设计师能提供更多细节,像是“如果你正在做X,不要忘了做Y。”而其他标准会说明“如何达到安全性”,但UL 4600是规范“系统最后要达到什么状态”。
建立安全案例
UL 4600与技术无关,不会规范应该要用什么传感器技术、必须在商用布署前完成多少英哩的道路测试,而是专注于确保“有效安全案例(safety case)的建立”;以该标准的观点,所谓的安全案例包括三大要素:目标(goal)、立论(argumentation)与证据(evidence)。
因此,假如Tesla不想在自驾车上用光达(lidar),没问题,但UL 4600会要求Tesla建立安全案例;这时Tesla必须要以证据表明:“相关目标物体会藉由安装在预期的作业与设计范畴限制内的任何一种传感器,被成功侦测并分类。”
换句话说,“你可以使用任何一种你想用的制程或技术;”Koopman表示:“但如果你没有测试它们,我们不会信任你。”
同样的,UL 4600不会要求执行多少英哩的道路测试,而是要求厂商证明“已经进行了可接受强度的分析、软件仿真、封闭场域测试,以及安全的公开道路测试,确保初始车辆与每一个软件更新达到恰当程度的系统安全性。”
Koopman 解释,UL 4600并不打算为以计算机为基础的系统安全性,发明另一个V-cycle工程测试程序,而是“用以取得透过现有与潜在新设计和验证程序所产生的信息,并标准化将结果组成一致性安全案例的方法。”
要做出安全性论据并不是很容易,Koopman表示:“试想,你已经有很多保证安全的有效产品,并有一柜子的相关文件;UL 4600可以帮助你整理、架构这些文件,标明所有必需测试的项目;”他指出,重点在于“建立一个方法,确保设计团队不会遗漏某个合理可预见的问题。”
(来源:Phil Koopman, Edge Case Research)
独立的评鉴员
任何一种标准的可信度,取决于是由谁来评鉴系统的合规性;在车辆产业中,自我认证长期以来都是标准作业程序,而任何自我认证的尝试都可能被认为有自利之嫌。
但UL 4600标准小组认为,如果评鉴员够独立、并具备资格,自我认证或许是可行的;Koopman表示:“此处的关键在于你需要公开你的评鉴员有足够的独立性,建议聘用外部的具资格评鉴员,但只要评鉴员的独立性与能力是可信的、且有文件可左证,就不用这么做。”
因应未知的未知
传统IEEE标准的弱点之一,是并非为频繁更新所设计;传统标准应该可以经常“在线”更新,但这种更新迄今并没有内建的机制可以验证其安全性。而Koopman表示,UL 4600利用反馈回路(feedback loops)来因应未知的风险。
他解释,并不是“假装工程师会想到所有事情(他们不曾、也不会),”该标准考虑到对于不确定性进行负责任的管理。特别是在机器学习时代,标准拥有内建机制来因应变化非常重要:“我们称之为持续性维护(continuous maintenance),这就是UL 4600标准程序的运作模式。”
这意味着UL 4600标准成员会被要求“如果你发现什么事情,就要提出”到标准小组,使用者必须回报的不只是灾难性故障,还有"几(迹)进失误"(near misses,EE Times Taiwan编按:或译为“虚惊事故”、“轻伤害”),让标准小组能研究该故障/失误并修正。“我们规划让所有成员被充分告知;”该标准小组承诺几个月内可完成紧急更新,并可能每一年定期更新。
激进的时间表
UL 4600标准小组正在以非常激进的速度订定标准,STP提出的意见会在今年夏天进行审查,让小组能建立一个修改版草案,称为“初审版本”;Koopman表示,一旦STP意见被充分解决,这个版本将会向利害关系人公布,时间预计是在8月或9月初。而只要该版本UL 4600标准草案分送给利害关系人,就会成为公开的标准草案。
注册在案的利害关系人可提出意见,但没有投票权;在进行更多轮STP与利害关系人的意见考虑后,STP会进行投票阶段,若一切顺利,最终版公开标准将于2019年底或2020年初公布。
编译:Judith Cheng
(参考原文: You Say Your AV Is Safe? Show Me)