用算法判断无人驾驶事故责任归属，不就是球员当裁判？

Intel旗下的Mobileye最近发表了一篇论文，指出可利用数学公式来判断自动驾驶车辆在碰撞事故中的责任归属，以确保自驾车的安全性；这触动了不只一条自动驾驶车辆领域观察者的神经，衍生的问题包括；“哪有一个产业可以球员兼裁判自己定义产品安全性？”、“安全性与责任归属能混为一谈吗？”

为此EE Times询问了许多学者专家，他们的研究范围从机器人学、嵌入式计算机系统到自动驾驶车辆安全性以及人类-机器人互动；我们请这些专家分析由Mobileye首席执行官/Intel资深副总裁Amnon Shashua，以及Mobileye技术副总裁Shai Shalev-Shwartz共同撰写的论文，谈他们是否同意其中观点以及他们发现的问题所在，还有提供他们对产业界的建议。

事实证明，学者们几乎一面倒地给予Mobileye研究结果正面看法，他们盛赞该公司坚持到底、迎战在自驾车领域最棘手的问题。

美国卡内基美隆(Carnegie Mellon University)教授Phil Koopman对于Mobileye的论文看法是：“整体看来，我认为能看到一个初步严谨的方法探讨自动驾驶车辆安全性，是很好的事；每一辆自驾车都必须要有一些方法，判断什么可以做、什么不能做。因此，我很佩服论文作者开始往这个方向发展。”

担任该校人类与自动化技术实验室(Humans and Autonomy Lab)总监的杜克大学(Duke)教授Missy Cummings也同意以上看法：“我很欣赏Mobileye开始如此深入地思考那些问题。”

不过Koopman与Cummings两位教授都认为，Mobileye提出的方法只是“第一步”，该提案在现实世界的弹性(resilience)──特别是当自动驾驶车辆必须与人类驾驶的车辆共存而且互动──是更大的飞跃；对于什么可能对自驾车是安全的，Mobileye的定义必须要能顺应现实世界的严苛。

Koopman很看重Mobileye为自驾车安全性提出具体建议的价值，他表示：“没有人能第一次就提出完美的建议，但这没有关系，我们还会尝试很多不同的方法来表达并公式化自驾车安全性，直到我们找到一个实际可行的方案。”

Mobileye的两位作者在论文对“安全性”的讨论，是解释他们的策略具备“可证明安全性，就此意义而言不会导致归咎于自动驾驶车辆的交通事故”；不过对此杜克大学的Cummings指出，“可证明安全性”(provably safe)并不是新概念，并举出网络上就可以找到不少已经发表的相关学术论文(参考连结)。

她表示，可证明安全性最棘手的问题并没有改变：“计算机科学家从数学的角度来考虑何谓可证明安全性，并不意味着与测试工程师会同意那也是安全的。”

必须质疑的假设

Koopman与Cummings都对Mobileye所做的假设提出警告，表示那不能被视为理所当然，需要被质疑；如Koopman指出：“有一些假设如果在现实世界真的发生，我会非常惊讶。”

Cummings提出的例子是软件错误；以下是Mobileye论文作者对于安全性议题的描述：

…我们现在讨论的是导致非安全行为的感测错误；如前面所提，我们的策略是可证明安全，就此意义而言不会导致归咎于自动驾驶车辆的交通事故。这种事故仍有可能因为硬件故障(例如所有的传感器都损坏，或是在高速功率上发生爆胎)、软件故障(某些模型中有严重的错误)，或是感测错误而发生。我们的终极目标是让这类事件的可能性减至最小──到每个小时109次的概率。

针对Mobileye 声称软件错误造成之潜在问题机率相当小，Cummings提出了质疑；她引述了一份报告，探讨历史上车辆因安全性疑虑召回的事件，往往是软件问题所导致。

Koopman的疑虑则是光达(lidar)与雷达的故障：“很难相信雷光达与雷达故障的独立性能够获得解决，还有那些讨论的假设；”他指出：“必须有人动手证明他们是对的，并不只是假设。而且几乎可以肯定有一些假设是错的，论文作者甚至没有意识到他们犯了错。”

就像是Koopman所忧虑的：“这就是安全性──意外是最难的部份，所以你需要为了那些意外做规划，而且要谨慎小心，在它们发生时注意到它们；”不过他也表示：“我还是很高兴看到那些作者们开始做假设，而且他们知道他们是在假设，因为如此一来，我们就有一个测试那些假设的起点。”

定义安全性

Koopman并不很担心Mobileye定义安全性的方式：“论文所声称的是，如果他们对责任归属有严苛的定义，你就可以建立一个用某种永远不会被归咎责任的方式来行事的系统；”他进一步指出：“从系统的观点来看，这能够使其安全。如果每一辆路上的车子都有这样的策略而且会遵循，他们认为一切将会相当安全。”

虽然也坦承对于这种概念实际执行的忧虑，Koopman再一次强调：“了解为何它可能无法运作是很重要的部份；而看到一个真正具体的建议，让我们能从中思考并且学习，是很好的事。”

如果是这样，Koopman认为Mobileye提出的方法有哪些潜在问题？他的疑虑是，自动驾驶车辆“可能会学习如何‘骗’系统”；在现实世界，人类驾驶往往会发现道路规则的漏洞，然后在某种程度上利用这些漏洞，那为何一辆具备“人工智能”的自驾车不可能玩出相同的把戏？

Koopman的想法是：

举例来说，试想有一队连续排列的自驾车在一个车道上，队伍中有一个空隙，大约有半辆车子的额外空间；这时一个人类驾驶插队进去，用力踩剎车让他的车子与前车保持足够距离。如果发生这样的情况，跟在后面的一台或是很多台自动驾驶车可能会陷入不安全的境地，因为没有足够的空间留给所有车辆。基本上那辆人类驾驶的车是“偷”了车距。

Koopman表示：“这个确切的情境我认为陷入了论文作者提到的无赢面情境(no-win scenario)，不过若要真正了解Mobileye提出的方案，这类一系列事件需要被考虑；”他提出的问题是：“如果自驾车学会以类似的方式“骗”系统，因为有一个漏洞让它能在不违反内建安全规则的情况下做出相同的行为呢？”

他进一步指出：“我不是要说刚刚举的插队例子，但如果因为量测的不确定性或是需要在实际行动中作出的悲观假设而出现一个漏洞呢？机器学习系统有可能会发现任何一个这类漏洞并且利用它，而且我们应该都不会提前想到那些。”

“我们应该预期机器学习很可能擅长学习如何利用漏洞，因为关于什么样的行为是违反了立法精神而非法律条文，通常不会有共识；”在此时此刻，Koopman无法确切说出系统中可能会出现哪些漏洞，但他强调：“这是一件必须要思考的事情，而就算以任何一种方法以严谨的方式定义安全性，最终仍会在实际执行时成为意外。”

继续阅读：就问自动驾驶一个问题，人类驾驶强行变道你敢怼上去吗？

编译：Judith Cheng

本文授权编译自EE Times，版权所有，谢绝转载

关注最前沿的电子设计资讯，请关注“电子工程专辑微信公众号”。