自驾车测试需要正确的评判指标！

去年在美国亚利桑那州发生的自驾车撞人致死事故，让当红的自动驾驶技术蒙上阴影。那桩事故在变化快速的科技世界，似乎就像其他旧闻一样被大多数人淡忘；但对安全专家──美国卡内基美隆大学(Carnegie Mellon University)副教授、Edge Case Research共同创办人──Phil Koopman来说，那场悲剧启发了新的研究，让他对那些进行自驾车测试的公司是否设计了有效的安全测试平台产生疑问。

提及过往媒体对该意外事故的狂热报导，以及那些社交媒体上的“事后诸葛”言论，Koopman特别想问的问题是：“我们真的学到正确的教训了吗？”

他在日前于美国底特律举行的年度汽车产业大会SAE WCX (World Congress Experience)上发表了一篇题为“在公开道路进行自驾车测试的安全论据考虑”(Safety Argument Considerations for Public Road Testing of Autonomous Vehicles)」的论文，共同作者为Beth Osyk，探讨“在公开道路上进行自驾车测试是否足够安全的影响因素；”他表示，其目标是提供素材，以作为“能确保自驾车道路测试项目安全性之稳固起点。”

无用的“事后诸葛”言论

虽然在去年Uber自驾车撞人致死事故之后，有不少分析其中问题所在的舆论出现，Koopman指出其中数个他认为“对改善自驾车(AV)测试毫无帮助”的响应，包括：

• 争论延迟自驾车的实现是不负责任而且可能致命(这种论据来自于坚信“在自驾车技术完善之前就先布署相关技术，终将能拯救更多生命”…)；

• 讨论哪个人有错(是受害者的错还是Uber安全驾驶员的错？)；

• 试图找出为何自动驾驶技术失效。

在谈到第三点时，Koopman特别表示：“我们都知道今日的自动驾驶车辆不成熟，这也是为什么我们要进行测试；没有人应该对自动驾驶技术的失效感到惊讶。”

建立一个安全案例

虽然“模拟、封闭道路测试以及公开道路测试各自的恰当比例是一个有争议的问题，”Koopman坦承：“在某个时间点，任何自动驾驶车辆会必须要进行某种形式的道路测试。”考虑到这种不可避免性，Koopman认为自驾车产业应该要专注在“如何最大程度降低其他用路人面临风险的可能性。”

在他的论文中强调，需要以“由证据支持的结构化书面论据”，为自驾车测试操作员建立安全案例(safety case)；范例结构包括：

• 及时的监督者回应(Timely supervisor responses)；

• 充分的监督放宽(Adequate supervisor mitigation)；

• 恰当的自动驾驶失效概略(An appropriate autonomy failure profile)。

Koopman表示，对自驾车业者来说，收集自动驾驶测试车辆的道路上表现资料至关重要；原因有数个，包括人类保持警觉性的时间有限──从15到30分钟，还有“监督者中辍”──当安全观察员因为不安全事件几乎没有发生而感到无聊时会有这种倾向。而有关这类资料收集的一个更大问题是：哪些才是正确的数据？

“解除自驾”的迷思

根据美国加州法令，于该州公开道路执行自驾车测试者，需要公开驾驶里程数以及人类驾驶员被迫取回控制权的频率，也就是某个被称之为“解除自驾”(disengagement)的危机时刻。

加州车辆管理局(DMV)将解除自驾定义为“当自动驾驶技术被侦测到故障时停用自动驾驶模式，或是车辆的安全操作员要求该自驾车的测试驾驶员脱离自动驾驶模式、对车辆采取立即性的手动控制。”但Koopman断然指出：“解除自驾是错误的安全测试指标，”因为这倾向于巧妙地鼓励测试操作员最小化其人为干预，而这就可能导致不安全的测试。

目前的现实情况是缺乏从自驾车测试产生的可用数据；如Koopman在论文中所写：“目前针对自动驾驶车辆测试公布的指标，大部份与测试的后勤工作相关，例如车辆布署数量、驾驶里程数。最被广泛报导的统计资料是所谓的解除自驾报告，这不是建立安全性的充分依据。”

今日之解除自驾数据经常是由媒体以及自我推销的自驾车业者引用，以作为评判自驾车成熟度──通常被视为有如自驾车赛马──的指标。这种方法是有误导性的，因为任何努力认真打造更安全自驾车的工作，解除自驾数据必须要是能改善技术的指标，而非用以宣传在安全竞赛中的胜利。Koopman接受EE Times访问时表示：“在测试的早期阶段，有越多次解除自驾越好，因为可以藉此判别设计缺陷。”

Koopman表示，解除自驾──无论是全面爆发的危机或者只是昙花一现──能指向一个机械错误或者是人为疏忽；换句话说，你需要将每一个事件、事故或未遂事故，当作测试项目安全程序中的一次失败。“除了解决任何表面症状，判别并修正所有安全问题的根源非常重要。”

各家自驾车业者的每次解除自驾行驶里程数。

（来源：Statista）

人为因素

最后，要审慎考虑人为因素。Koopman表示，试想自驾车沿着一个熟悉的路线在一致的驾驶情况下进行测试，随着时间越长，车上的驾驶员──试图将误报自驾解除情况减至最少──将会了解车辆的一般行为，并只会在不寻常事件发生或是出现明显、迫切的危险时才进行干预；而他指出，像这样的正常情况或许会像人类行为，是存在风险的。

“监督者可能没有关于自动驾驶系统内部实际上发生什么的准确模型，”Koopman指出，在这个等式中的人无法诊断系统中的“潜在失误”，而那种失误“仅是还没有被激发。”一点在此刻还未能燎原的星火，可能不会被注意到。

监督退化低谷。

（来源：Phil Koopman）

简而言之，让我们面对现实：人类无法非常妥善地监督自动驾驶。

当然，假设受过良好训练的监督者只因为被指示要保持警觉就能百分之百专注，是不切实际的。Koopman指出：“可靠的安全论据必须要允许而且放宽监督者专注力降低、分心甚至可能在测试中打瞌睡的可能性；”如果自动驾驶技术的设计没有留下发生错误的余裕，可以想见会有多么严重的灾难可能发生。

回顾去年的Uber事故，舆论应该对自驾车业者提出的问题，不应该是关于Level 4自驾车多快能上市，他们应该要求知道那些孜孜不倦的自驾车推广者能为他们的道路测试，建立多强──或是多弱──的安全案例。

本文英文原文链接：Disengagements: Wrong Metric for AV Testing  来源 EETimes 编译：Judith Cheng