下一代人工智能汽车可以更好的理解你

AFFECTIVA

对于司机驾驶汽车直接上路以避免麻烦这个话题来看，这个先发已经逐渐过时了。在智能汽车的新兴时代，汽车将反过来能够管理他们的司机。我们（作者，以下简称我）不是在谈论现在大家熟悉的帮助驾驶员保持车道或平行停车的辅助技术。我们所说的汽车，指的是通过识别驾驶员的情绪和认知状态，可以防止其做出任何危险的事情。

市场上已经有了一些基本的驱动程序监控工具。这些系统中的大多数都使用安装在方向盘上的摄像头，跟踪驾驶员的眼球运动和眨眼频率，以确定此人是否出现了驾驶障碍 —— 可能是注意力分散、昏昏欲睡还是喝醉了。

但汽车行业已经开始意识到，衡量驾驶障碍比确保驾驶员的眼睛盯着道路要复杂得多，它需要考虑的不仅仅是驾驶员的视角。这些监控系统需要洞察整个车辆和车内每个人的状态，以便全面了解驾驶员行为的形成原因以及该行为会如何影响安全。

如果汽车制造商能够设计出能够理解所有这些事情的技术，他们很可能会开发新的功能，例如提高安全性或个性化驾驶体验的方法。这就是为什么我们的公司，Affectiva，领导了对客舱、驾驶员和其他乘客状态的内部感知技术。（2021年6月，Affectiva由Smart Eye公司收购，AI眼球追踪公司总部位于瑞典州哥德堡，售价7350万美元。）

汽车制造商正朝着这个方向得到监管推动。在欧洲，一个被称为欧洲新车评估计划（Euro NCAP）的安全评级系统在2020年更新了其协议，并开始根据先进的乘员状态监测对汽车进行评级。为了获得令人垂涎的五星评级，汽车制造商将需要内置检测驾驶员疲劳和分心的技术。从2022年开始，Euro NCAP将为检测是否有儿童孤身一人在车内的技术授予评分点，通过提醒车主或应急服务机构，有可能防止因中暑而导致的悲惨死亡情况发生。

一些汽车制造商现在正在将摄像头移到后视镜上。有了这个新的视角，工程师们可以开发出不仅能检测人的情绪和认知状态，还能检测人的行为、活动以及相互之间以及与车内物体的互动的系统。

Affectiva于2009年由麻省理工学院媒体实验室的Rana el Kaliouby和Rosalind Picard共同创立，他们专门从事“情感计算”——定义为识别和响应人类情感的计算系统。大家加入Affectiva的原因很简单，目的是使这项技术人性化：我们担心人工智能（AI）的繁荣正在创造出具有大量IQ，但没有多少EQ情商的系统。

在过去的十年中，我们创造了一种软件，它使用深度学习、计算机视觉、语音分析和大量真实世界数据来检测细微的人类情感、复杂的认知状态、活动、互动和人们使用的对象。我们从90个国家收集了1000多万张脸的数据，用这些数据来训练我们基于神经网络的情感分类器。我们所做的大部分标记都是根据临床心理学家Paul Ekman和Wallace Friesen在20世纪70年代末开发的“面部动作编码系统”进行的。我们始终关注数据收集的多样性，确保我们的分类工具对所有人都有效，无论年龄、性别或种族。

我们技术的第一批采用者是营销和广告公司，他们的研究人员让受试者观看广告，而我们的技术用摄像机观看广告，逐帧测量他们的反应。到目前为止，我们已经测试了58000个广告。对于我们的广告客户，我们关注他们感兴趣的情绪，如快乐、好奇、烦恼和无聊。

但近年来，我们的汽车应用技术已经走到了最前沿。这就要求我们重新训练我们的分类器，例如，以前无法检测到睡意或车辆中的物体。为此，我们必须收集更多的数据，包括一项针对工厂轮班工人的研究，他们开车回家时经常感到疲劳。迄今为止，我们已经从数千项参与者研究中收集了数万小时的车内数据。收集这些数据是非常有必要的，但这只是第一步。

我们还需要确保我们的深度学习算法能够在基于所谓片上系统（SoC）的车辆嵌入式计算机上高效运行。深度学习算法通常相当大，这些汽车SoC通常运行许多其他代码，这些代码也需要带宽。更重要的是，有许多不同的汽车SoC，它们在每秒可执行的操作数量上有所不同。Affectiva必须以一种考虑到这些芯片有限计算能力的方式设计其神经网络软件。

我们开发这个软件的第一步是对用例需求进行分析；例如，系统需要多久检查一次驾驶员是否昏昏欲睡？理解这些问题的答案有助于限制我们创建的软件的复杂性。Affectiva并没有部署一个大型的全方位深层神经网络系统来检测许多不同的行为，而是部署了多个小型网络，在需要时协同工作。

我们还使用了另外两种技巧。首先，我们使用一种称为量化感知训练的技术，它允许以较低的数值精度执行必要的计算。这一关键步骤降低了神经网络的复杂性，使它们能够更快地计算答案，从而使这些系统能够在汽车SoC上高效运行。

第二个技巧与硬件有关。如今，汽车SoC包含专门的硬件加速器，如图形处理单元（GPU）和数字信号处理器（DSP），它们可以非常高效地执行深度学习操作。我们设计算法是为了利用这些特殊的单元。

要真正判断司机是否存在驾驶障碍是一项棘手的任务。你不能仅仅通过跟踪司机的头部位置和眼睛闭合率来做到这一点；你需要了解更大的背景。这就是需要内部感应的地方，而不仅仅是驾驶员监控。

例如，出于多种原因，驾驶员可能会将视线从道路上移开，他们可能会转移目光移开查看车速表，回复短信，或者查看后座上哭泣的婴儿。每种情况都代表不同程度的问题。

AFFECTIVA

我们的车内传感系统将能够区分这些情况，并利用计算机视觉技术识别驾驶障碍何时持续足够长的时间而变得危险，计算机视觉技术不仅可以跟踪驾驶员的面部，还可以识别车内的物体和其他人。有了这些信息，每种情况都可以得到适当的处理。

如果驾驶员过于频繁地瞥到速度表的位置，车辆显示屏可能会向驾驶员发出一个温和的提醒，提醒他或她的目光需要保持在道路上。同时，如果司机正在发短信或掉头检查婴儿，车辆可能会向司机发出更紧急的警报，甚至建议一个安全的停车地点。

然而，困倦往往是生死攸关的问题。一些现有的系统使用指向驾驶员的摄像头来检测眼睛下垂和头部点头时的微睡眠。其他系统只是测量车道位置，当驾驶员昏昏欲睡时，车道位置往往变得不稳定。当然，如果车辆配备了自动车道定心技术，则后一种方法无效。

我们研究了驾驶员疲劳问题，发现等到驾驶员头部开始下垂时，系统发出警报往往太迟。你真正需要的是一种方法来确定某人何时开始变得太累而无法安全驾驶。

这可以通过观察细微的面部动作来实现。当人们感到疲劳时，他们往往表现得不那么富有表情，也不那么健谈。或者系统可以寻找非常明显的迹象，比如打哈欠。然后，该系统可以提醒司机，她开始出现疲劳迹象，甚至建议找一个安全的地方休息，或者可以考虑喝一杯浓咖啡提提神。

Affectiva的技术还可以解决儿童无人看管的潜在危险情况。2020年，美国有24名儿童在这种情况下死于中暑。我们的目标检测算法能够识别儿童座椅；如果一个孩子对摄像机可见，我们也可以检测到。如果车上没有其他乘客，系统会向当局发出警报。其他算法正在开发中，以记录细节，如儿童座椅是前向还是后向，以及是否被毯子之类的东西覆盖。我们渴望将这项技术付诸实施，以便它能够立即开始拯救生命。

AFFECTIVA

将所有这些智能植入汽车意味着需要在车内安装摄像头。这引起了一些明显的隐私和安全问题，汽车制造商需要直接解决这些问题。他们可以从构建不需要向云发送图像甚至数据的系统开始。此外，这些系统可以实时处理数据，甚至不需要在本地存储信息。

但除了数据本身，汽车制造商和优步（Uber）和Lyft等公司有责任向公众公开车内传感技术。回答总是会出现的问题很重要：技术到底在做什么？正在收集哪些数据以及这些数据的用途是什么？此信息是否正在存储或传输？最重要的是，这项技术给车上的人带来了什么好处？毫无疑问，汽车制造商需要提供明确的选择加入机制，并同意建立消费者信心和信任机制。

隐私也是我们公司最关心的问题，因为我们考虑了Affectiva技术的两个未来方向。一个想法是超越我们的系统目前提供的视觉监控，潜在地增加语音分析甚至生物特征提示。这种多模式方法有助于解决棘手的问题，例如检测驾驶员的沮丧程度甚至愤怒程度。司机们经常对“智能助手”感到恼火，而事实证明这些“智能助手”并不那么聪明。只使用面部分析的监控系统会误解面部表情的问题。如果添加语音分析，系统将能够立即知道此人没有表达喜悦。它可能会向制造商提供这种反馈。但消费者对他们的语音被监控的担忧是正确的，他们希望知道这些数据是否以及如何被存储。

我们也有兴趣让我们的监控系统能够持续学习。今天，我们构建的人工智能系统已经接受了大量关于人类情感和行为的数据的训练，但一旦安装在汽车上，就停止了学习。我们认为，如果这些人工智能系统能够收集数月或数年的数据，了解车辆的常规驾驶人以及他们的动力，那么它们将更有价值。

我们已经与麻省理工学院AgeLab的高级车辆技术联盟进行了研究，收集了一个月内有关驾驶员的数据。我们发现了清晰的模式：例如，我们研究的一个人每天早上在半睡半醒的雾中开车上班，但每天晚上开车回家时心情很好，经常用免提电话与朋友聊天。一个了解司机的监控系统可以为这个人建立一个行为基准；然后，如果司机偏离了其日常操作，这就值得注意了。

一个不断学习的系统提供了强大的优势，但也带来了新的挑战。与我们目前的系统不同，我们的系统工作在嵌入式芯片上，不向云端发送数据，能够实现这种个性化的系统必须随着时间的推移收集和存储数据，有些人可能认为这过于侵入性。

随着汽车制造商不断增加高科技功能，一些对购车者最具吸引力的功能将简单地改变车内体验，比如调节温度或提供娱乐。我们预计，下一代汽车也将能够帮助改善健康。想想那些每天通勤的司机：早上他们可能会感到头昏眼花，担心自己的待办事项，晚上他们可能会因为被困在高峰时间的车流中而感到沮丧。但如果他们下车时感觉比上车时好呢？

使用通过内部感应收集的洞察力，车辆可以根据乘客的情绪状态提供定制的氛围。早上，他们可能更喜欢能提高警觉性和工作效率的驾驶，而晚上，他们可能想要放松。车内监控系统可以了解驾驶员的偏好，并使车辆进行相应的调整。

收集到的信息也可能对驾驶员本身有益。驾驶员可以了解他们最快乐、最警觉、最有能力安全驾驶的条件，从而改善日常通勤。汽车本身可能会考虑哪些路线和车辆设置使驾驶员在最佳情绪状态下工作，有助于提高整体健康和舒适度。

AFFECTIVA

当然，也将有机会定制车内娱乐。无论是自有车还是共享车，汽车制造商都可以利用我们的人工智能，根据车手的参与度、情绪反应和个人偏好提供内容。这种个性化程度也可能因情况和旅行原因而有所不同。

例如，想象一下，一个家庭正在前往体育赛事的途中。该系统可以提供与该活动相关的广告。如果它确定乘客对广告反应良好，它甚至可以在游戏中提供一张零食优惠券。这一过程对于双方来说都是不错的选择 —— 快乐的消费者和快乐的广告商。

该车本身甚至可以成为一个移动媒体实验室。通过观察对内容的反应，该系统可以提供建议，并根据用户偏好定制广告。内容提供商还可以确定哪些渠道提供最吸引人的内容，并利用这些信息设定广告溢价。

随着汽车行业的不断发展，乘坐共享和自动驾驶汽车改变了人与车之间的关系，车内体验将成为消费者最重要的事情。毫无疑问，车内感应AI将成为这一发展的一部分，因为它可以毫不费力地为驾驶员和乘客提供更安全、更个性化和更愉快的乘坐体验。

往期推荐