高级驾驶辅助系统中的人工本体感觉反射警告，以应对未被注意的后方交通

"当急救车在路上飞快地经过我们身边处理一起车祸时，我们不禁打了个寒颤。当我们在新闻中听到一起交通事故时，我们的心漏了一拍。" – Tedros Adhanom Ghebreyesus. 道路安全是联合国可持续发展目标（SDG）中的一个项目，并在2015年设定了一个目标，即到2020年将交通伤亡人数减少50%。然而，根据世界卫生组织 (WHO) 的报告，该百分比增加了 8% (1; 2)。考虑在驾驶过程中强调交通的滋扰值的情况（图 1）：我们的标记司机在一辆灰色的汽车里，一辆蓝色的汽车在右车道上以每小时60公里（kph）的速度从后面接近。我们的汽车接近静止，长 5 米（家用汽车的平均长度）。

图1: 一个驾驶场景显示了汽车里的司机的复杂处境，信息框里有绿色阴影和地图。一辆蓝色的汽车在右车道上以60公里的速度从后面驶来。我们的司机需要关注校车、骑自行车的人、斑马线、交通，还有很多东西，然后开车。

如果我们的司机不看后视镜就决定向右变道，从她的错误中恢复过来的时间余地有多大？如果我们能预测到她打算右转的动作，那么与蓝色汽车的最小距离是多少，才能使她免于发生事故？假设蓝车以60公里/小时的速度在一秒钟内行驶了17米，在转折点处，我们有 1 秒钟的时间在后面的汽车与自我车辆接触之前警告我们的驾驶员这种情况。如果一个系统需要500毫秒（ms）来预测她的预期行动，并且系统识别出蓝色汽车，它就会提醒司机注意她的错误。她可能会从错误中恢复过来，并避免可能发生的事故。

人类开车时往往注意力不集中、注意力分散、思想杂乱无章，并受到有意识思维的影响（图 1）。然而，驾驶过程中的认知需要来自相关传感器的不间断的、最新的和未切割的信号，这些信号可能随着注意力的分散而波动。自主车辆（AVs）的多起碰撞事件假设，在紧急情况下，分心的司机瞬间接管车辆并不成功。大量的事故损失是由侧扫和追尾交通碰撞造成的。司机，尤其是新司机，经常忘记看后视镜，或依赖预知信息，进行变道和转动方向盘的操作。不可避免的是，随着经验的积累，司机在某些紧急情况下会有一些技巧，比如在不看后视镜的情况下左转或右转时，避开从左边或右边车道驶来的车辆。这些反应是与对驾驶情况的某种感知相关的肢体的熟练运动。反射作用通常被认为可以将人类从许多意外的情况中拯救出来，但驾驶员的行为是由运动区域发起的自愿行为，其反馈来自前运动区域和前额区域处理的感觉信息。如果在没有从周围收集到的最新信息的情况下执行动作，可能会出现不希望的情况。辅助系统通过收集电机信号作为系统的感觉输入并以触觉反馈响应来充当人工反射，可以中和不专心的司机出现意外的情况。

先进的驾驶辅助系统（ADAS）是现代消费者车辆不可或缺的一部分。虽然自动驾驶汽车被认为即将在城市交通中投入商业使用，但从谨慎的角度来看，接受它们还有些遥远。乘客对机器有所保留，最近的一项调查（3）显示，随着自动驾驶水平的提高，人们对自动驾驶汽车的接受程度也在下降。ADAS 是一种安全且可接受的替代品，可能有助于减少意外情况、事故和碰撞。传统的ADAS设计有来自摄像头、超声波传感器、雷达的输入，它们通常监测驾驶和驾驶员的状况。驾驶条件包括交通、车道、红绿灯、标志牌和高清晰度地图。驾驶员的状况包括疲劳、瞌睡、注意力和意识。这些条件大多是在检测到某种行动、活动和迹象后观察到的，主要是被动的方法。本研究探讨了在预计出现危急情况时，使用积极主动的方法来警告司机。这种积极主动的方法使用肌电图（EMG）信号来预测司机的预期行动，并随后阻止意外的情况。

最近的神经科学研究调查了从行动规划到启动某种运动动作的神经元的时间。(4；5）研究了大脑对一个预定行动的早期意识，并报告了高达0.5s（秒）的事先意识。在后来的研究中，该时间被报告为大约10s（6；7）。

还有其他的理论，说明在后来的研究中报告的关于事先已知的大脑对运动动作行动的时间延长背后的其他原因（8）。然而，对于这项研究来说，替代理论也支持实验设置，因为司机对驾驶车辆的活动是有意识的。假设，在自动驾驶软件(ADS)的感知构建算法和简单的启发式条件下，预先提示司机的预期动作，就可以警告司机，让他有所察觉。

在人工智能(AI)的概念中，自动驾驶被视为一种典型的应用，以及构建完全自动驾驶汽车的各种功能是充满活力的研究领域。ADAS是汽车工程师协会(SAE) ADS标准中经常被引用的二级标准。如今，汽车都配备了基本的安全功能:车道偏离警告、前方碰撞警告和盲点检测。新的汽车更上一层楼，提供车道居中辅助系统、后方交叉警报和实验性的自动泊车系统。本研究介绍了利用生物线索进行动作预测的方法来设计一种可作为人工反射的ADAS。在接下来的章节中，将对相关文献进行概述。

2.1. 我们真的能预测意图吗?

标题提出了一个相关的问题，即提出的ADAS受益于驾驶员预期行为的预测。本研究的命题指向ADAS的计算设计和框架，并介绍了使用神经科学进展了解驾驶员意图的文献。

(8)详述决策和选择的自由，并将支持论点和反驳论点的研究并列。赞成该论点的实验表明，在人类实际实现决定之前，大脑至少提前0.5秒知道（4；5）。随后，通过新的实验和脑活动图谱技术(功能性磁共振成像- fMRI)，该周期被报道为长达10秒(7;6)。然而，(9)将远端意图与近端意图进行了分类(10):前者是对后期活动的规划，后者是行动计划。它避开了(4)建议的近端动作的周期。

(a) 运动电信号起源于大脑皮层的运动区，并在神经通路上支配神经（未画出解剖学上的精确数据），如青色所示，并通过支配肌肉来执行动作。两个可穿戴的EMG设备捕捉信号。

(b) 可穿戴EMG设备用两种敷料进行测试。上图：每个上臂上有一个设备。下图：每只手臂上有两个设备。

图2:  肌电图可穿戴设备的神经通路和穿戴方法

(11)通过脑电图(EEG)信号来预测决策的实验来支持上述主张，并报告了脑电图信号对两种决策没有区别:移动和不移动。然而，讨论的是无意识的决策和准备电位（RP），这是在脑电图中观察到的肢体行动的先行信号（12）。

然而，这项研究的前提是有效的，因为司机参与的是有限的驾驶行为，有意识的决定（RP）将被调查，以预测预期的行动。

2.2. 神经通路

携带运动信号的神经从大脑传到上肢，再从脊柱传到上肢。臂丛神经携带运动信号到手臂，它在脊柱中的颈椎C1-C8段和胸椎T1段（椎体）离开脊柱（椎体）。图2(a)中的卡通图（不是以解剖学的精度绘制的）描述了将运动信号从大脑的运动区带到四肢进行精细运动的神经路径。臂丛神经分支为内侧神经、尺侧神经和桡侧神经。桡神经向肌肉运动发出信号，使手、肘部、腕部和手指抬起。内侧神经支配前臂和手，而尺侧神经也刺激前臂和手。这项研究使用了包裹在手臂上的EMG可穿戴设备，并捕捉到三根神经的电刺激。在本研究和解剖学文献中对解剖学的讨论做了简要的介绍详见文献(13;14;15;16)。

2.3. 传感器

传感器具有频率(采集)、分辨率、噪声、绝对或相对测量等特性。外部感知传感器转换由外界刺激引起的感觉，如人类的嗅觉、听觉和视觉，这类似于在机器中使用相机、激光雷达和声纳绘制周围环境的地图。本体感知传感器对人体的不同部位提供有意识的感知，类似于测量机器人的状态、轮子的位置和速度。本研究通过调整本体感知传感器的定义，揭示驾驶员的状态。EEG通常用于捕捉驾驶员大脑活动中产生的电脉冲，(17)中给出了用于此目的的EEG传感器的详细综述。然而，一篇详细的综述讨论了深度学习算法在脑电图数据的各种应用(18)。肌电图是另一种最近在ADAS中用于上肢活动受限的人(19)和行人避免碰撞(20)的传感方法。

(21)详细介绍了用于ADAS和ADS的体外感应技术。它反映了传感器的能力和挑战，并可能有助于选择正确的传感器来进一步推进所提出的想法，如基于事件的视觉传感器可能有助于减少关键的处理时间。它还命名了驾驶员注意力模型，但没有提供ADAS中用于该目的的传感器。(22)扩展了关于各种传感器在ADS和ADAS中的效用的讨论，主要侧重于它们在各种苛刻情况下的性能和限制。

2.4. 感知

ADAS通过模仿专家在特定情况下的反应来帮助人类驾驶员，它依赖于外部感知传感器输入的感知。

(a) 在转动方向盘的过程中，从每只手臂上的单个设备获得的肌电图数据显示出难以识别的图形。

(b) 佩戴在单臂上的两个设备的肌电图数据显示，在转动方向盘的动作过程中，数据更加可分离。

该框架由四个独立但同步的数据采集和预测模块组成。第一个模块进行肌电数据采集和驾驶员预期动作预测。第二个模块是车道检测模块，它使用安装在车辆背面的摄像头的图像进行后视。第三是一个物体检测系统，它也使用后视摄像头的图像。第四是距离估计模块，估计从后面接近自驾车的物体的距离。图4中的框图描述了四个模块之间的信息流。每个模块的细节在以下小节中给出，而算法1给出了本研究中采用的简明方法。

算法1 人工本体反射预警ADAS   

3.1. 使用肌电图进行预期动作检测(ADE)

肌电图传感器是用来捕捉和记录肌肉活动对神经刺激的反应。

传感器附着在人体肌肉表面以检测神经肌肉活动。从表面上看，肌肉的运动启动了特定的手势和动作，对肌电信号的早期收集提供了对预期动作的敏锐猜测。在这项研究中，肌电图分类模块预测了驾驶员预期的方向盘向右或向左转动的肌肉运动。驾驶员佩戴两种不同的肌电信号表面装置(图2(b)):一种每个手臂上有一个设备，另一种每个手臂上有两个设备。在第一次修整中，信号是粗糙和微弱的（图3（a）），而在第二次修整中，捕捉到了更多的可区分信号（图3（b））。每台设备都有16个传感器，这些传感器绕在手臂上，每个传感器由另外两个滤除噪声的传感器补充。本研究中使用的可穿戴式肌电带采样频率为200Hz。假设驾驶员在驾驶时双手都放在方向盘上。这两个设备在蓝牙通信通道上向边缘设备同步发送信号。边缘设备使用快速机器学习算法预测司机的预期行动。本研究用传统的SVM进行实验。VM的训练是通过两个不同的选项进行的：首先，对每个司机进行在线培训，因为这不是一份繁琐乏味的工作，每个司机都有自己的肌电图特征。第二，从不同的司机那里收集数据，并使用预先训练好的SVM来预测司机的意图行动。SVMs可以快速训练，在线更新，并且不需要丰富的数据，这是最先进的技术所需要的。在驾驶过程中，EMG数据是一个连续的信号流（x1 , x2 , ...xN），它被输入到ADE模块，一个固定的信号流（xt-n, ..., xt）被用来预测动作。在时间实例t，在时间t-1捕获的信号xt-(n-1)被删除，xt被附加到预测中。预测的行动被传递给控制模块，该模块将信息与平行运行的感知模块的结果相融合，并就交通状况向司机提出建议。本研究的一个基本想法是提前预测动作，而用所使用的仪器进行定量测试可能是不靠谱的，因为所报道的肌肉神经支配和动作开始的延迟是很低的。第4.5.4节讨论了一种替代性评估。据称，这是一项试点研究，并主张为具体任务开发准确和功能性的EMG传感器，并提供合格的结果评估工具。

3.2. 车道检测

车道检测是ADAS和ADS任务中一个具有广泛针对性的挑战，通常使用相机图像进行检测。早期使用传统的图像处理进行检测，后期使用深度学习技术进行检测。后者产生了数据集的收集，有各种成像条件下的综合数据集可用。然而，标记数据集中的车道标注仅适用于前视，而在本研究中，ADAS使用了后视。用前视带注释的数据集训练的模型对于后视图像的准确性相对较低。在本研究中，同样的模型被用于对后视镜图像中的车道进行预测，充分满足了识别各自车道上尾随车辆的目的。车道检测信息分别与车辆检测与目标检测模块并行计算。

本文简要讨论了一种数据扩充技术，以实现从前视图自动标注后视图。车道标注在从前视摄像头拍摄的连续驾驶视频中采样的图像帧中，经过一定帧数后由后视摄像头捕捉到相同的视图。可以采用CV中的常规特征匹配技术来计算转换参数。转换参数可以用来以一种自我监督的方式将前视图注释投影到后视图注释。具有自监督学习的深度学习技术可以通过计算映射的外部参数来应用。

3.3. 物体检测和距离计算

人类驾驶者进行非自主的感觉-运动数据融合来控制车辆。来自不同视角的典型物体检测，据称包括尾随车辆在变道前非自主地使用后视镜和侧视镜。这种检测往往与车辆的主动控制并行，而车辆的主动控制可能会被忽略或被其他思想和行动的存在所掩盖。这项研究调查了使用最先进的深度学习技术对后视图像进行物体检测的情况。后视摄像头用于检测从后面接近的物体。用一般车辆图像训练的模型足以满足这项研究，因为目标检测数据集被扩大，以适应后视镜图像的感知变化。

使用激光雷达计算接近车辆的距离。用后视摄像头标定激光雷达，将图像中的检测结果映射到激光雷达点云数据。激光雷达给出了跟踪车辆的精确距离。点云数据中的目标检测方便，但本研究考虑了点云数据中较远的目标分辨率降低的问题。另一种选择是使用单目深度估计并从图像中提取距离信息，从而抵消昂贵的激光雷达传感器的计算延迟成本。

3.4. 信息融合

人类的本能反应在特定情况下表现出非凡的技能，瞬间的反应有利于实现所需目标。这种反射通常在距离较近的地方建立感觉-运动反应。在驱动运动神经元的情况下，参与的是体细胞神经系统和传感器，距离执行器很远。此外，有意识的运动是针对视觉和听觉传感器所建立的特定感知而规划的。从视觉(前视、侧视、后视镜)、听觉和体感信号中不断收集信息，并将这些信息融合起来，形成对周围环境的感知。

融合的信息提示了未来的行动，下面关于拟议的数据融合模块的讨论受到了神经科学的启发。

测试所提出的框架的实验是用SAE-2级实验车模型进行的。图5为本研究中使用的带有标记传感器的车辆。车辆安装有一个32通道激光雷达，两个摄像头(前视和后视)和一个用于感知建立的雷达。该车配备了一个定制设计的计算机器，用于视觉和点云数据处理。在这项研究中使用的肌电传感器是两个可穿戴的Myo包裹，每只手臂一个。每个可穿戴设备有16个传感器，安装在圆形的条带上，每个条带有两个传感器。

4.1. 计算环境

实验的计算装置如图4所示。摄像机图像和激光雷达点云数据被传输到配备了Nvidia GTX1070 GPU的计算机上。实验是在ADS计算堆栈上进行的，它使用机器人操作系统（ROS）作为数据融合的中间件。ROS在一个发布者和用户的通信框架上运行，支持ADAS的拟议工作流程的并行计算需求。肌电图信号是在一个使用1.3GHz处理器和2GB内存的边缘设备上采集的，肌电图数据通过蓝牙传输。Myo臂带以200赫兹的频率记录信号。关于EMG臂带包括ThalmicLabs臂带的详细说明见（40）。同一边缘设备运行SVM来预测预期的行动。该设备还运行一个ROS节点，与运行ROS主程序的主计算机通过局域网相连。将预期的动作和肌电信号数据发布在边缘设备上，该设备被运行在计算机上的信息融合模块订阅。肌电图数据也被公布在一个单独的频道上，以避免预测结果的沟通延迟。这些数据有助于检查和分析用于预测的信号。

4.2. 数据采集

在提出的框架中，有三个模块需要一个数据集用于其学习算法。 

图4: 系统框图显示了不同的模块。肌电信号通过蓝牙传输到边缘设备，边缘设备运行分类算法，当系统检测到预警信号时，驾驶员身上的红线显示本体感知触觉信号。计算系统运行两个深度学习网络(绿色用于目标检测，蓝色用于车道检测)，点云数据的匹配算法，以及包括边缘设备数据在内的所有模块的数据融合。

首先，目标检测数据集使用Mscoco数据集(42)对尾随车辆进行检测。Mscoco对象检测是一个包含80个标记对象类别的综合数据集。车道检测模块使用TUSimple2dataset，它为车道检测提供了一个标记的数据集。ADE在本研究中使用了用Myo可穿戴设备收集的EMG信号数据集进行实验。

4.3. 肌电图数据集

本研究收集的肌电图数据集使用的是可穿戴的Myo设备，由三个不同的驾驶员佩戴，执行两种不同的动作，第三种被定义为无转向。行动是向右转，向左转，第三步无转向。在这项试点研究中，假设驾驶员在实验过程中是双手驾驶，双手放在方向盘上。在静止的车辆上，只需要转动方向盘就可以采集数据。这两个可穿戴传感器连接到一个边缘设备，数据通过蓝牙进行通信。

每个设备从Myo设备的8个传感器中给出64个读数(窗口大小w)，并将所有传感器和设备的信号值连接起来，形成一个样本。数据被手工标记为三个类别进行训练。数据值被标准化并在-10到10之间缩放。这三个类别被标记为0,1,2，分别代表左转、右转、不转。

两个可穿戴设备同步传输在边缘设备上采集的数据，并作为单独的手臂动作存储在边缘设备上。两个设备的同步是一个微妙的部分，它由软件提供的MyoConnect开发库支持。同步与时间戳交叉验证。在另一项实验中，每个手臂上都包裹着两个可穿戴设备(图2(b))，每个手臂的数据分别收集，并将四个设备的数据串联起来模拟单个动作。对于每个司机，收集所有三个类别的约100（±6）个样本，并采用60比40的训练-测试比例。在第二种方法中，数据是在实验开始前对个别司机进行在线收集。 

图5: 用于实验的车辆安装有传感器和计算机器。前面安装的激光雷达用于密集点云数据实验。实验中使用的相机安装在后面，用于捕捉后视镜。

数据的生成过程与此类似，只是数据不被存储，而是将每个动作的N个窗口大小（w=64）的样本实时输入到学习算法中。该装置的细节在第4.1节中给出。

4.4. 车道探测和物体探测

第3节中讨论的车道检测模块使用经过训练的ANN超快车道检测（43）算法，用于检测后视摄像头图像中的车道。为了进行推断，图像的大小被调整为416x416，然后再调整为原始大小用于显示。该算法使用一个深度神经网络，该网络从上下文的角度将一个视图划分为一个网格。特征是从图像中提取的，网格是用特定的行锚生成的。图像的网格结构为车道检测提供了快速的计算速度，因为与使用整个图像像素的竞争方法相比，网格包含空间上更粗的数据点。车道检测算法的实时性达到每秒300帧(fps)，符合本研究的要求。目标检测模块使用最先进的ANN Yolo3(29)。Yolo3以23ms (60fps)的速度快速检测图像中的对象，是建议实验的最佳选择。Yolo3使用53个卷积层，卷积核大小为3×3和1×1，并使用k-mean聚类法进行绑定盒锚。关于进一步的细节，感兴趣的用户请参考原稿（29）。点云数据使用欧几里得聚类算法进行过滤，以确定目标，并使用校准将其映射到来自摄像机的图像上。它给出了图像中检测到的物体的准确距离。

图6: (a)两名驾驶员现场训练和测试的误差条。(b)两位司机在现场训练后的准确度百分比

4.5. 结果

4.5.1. 肌电图分类的离线准确性

这项研究的主要重点是预测司机的意图行动，并利用生物体验对驾驶员产生警告。如第4.3节所述，使用两种不同用途的可穿戴传感器，将三个司机的EMG信号分为三类。通过驾驶员佩戴的肌电可穿戴设备，手按方向盘进行三个动作，测试肌电分类的准确性。在这个实验中，车辆是静止的。在本节中，根据训练和测试数据，计划用两种不同的变化进行实验。首先，为每个驾驶员准备单独的训练数据，并对同一驾驶员进行测试。每个司机的训练和测试的比例是60比40（关于EMG数据集的细节在4.3中讨论）。其次，为所有司机生成一个单一的训练数据集，并为所有司机组合测试数据集。表1给出了两个实验的结果。对司机意图的正确预测在分子中，分母给出了一个已执行动作的总样本数。随着我们增加使用的EMG设备的数量，准确性也会增加。四个设备的数据是通过在每个手臂上佩戴两个设备分别收集的，并在以后将数据串联起来用于训练和测试。我们还注意到，与针对个人的训练和测试相比，泛化在预测中造成的误差更大。正如第4.5.2节中的一个实验所阐述的那样，针对个人的测试不会降低提议的想法的有效性。报告的预测结果在分子大于分母的单元格中，它表明在数据收集中偏向于有标题的类。

4.5.2. 肌电图在线分类

另一个实验旨在测试该系统对新驾驶员的现场效果。训练数据在驾驶员驾驶时采集，以最小样本数训练SVM，并将学习到的参数用于瞬时测试。使用相同的肌电图设备，每个手臂上有一个单一的设备，每个设备的w是64。这些样本从两个设备连接起来，用于训练和预测。训练数据集由6个示例组成，被认为足以产生良好的预测，因为系统是针对个人进行测试的。图6为两个驾驶员的样本和预测精度图。示例数量按比例增加了训练时间，但改善了预测结果。实验表明，整个训练过程的最小滋扰值可能会根据常规环境下的实际经验而变化。

表1 三个驱动器的EMG信号分类

4.5.3. 警示生成

一个完整的框架在为车辆准备的设置中进行测试（称为SDV）。该测试是在一个主要的四车道的校园双向交通道路上进行的。该车在限行道路上以每小时20公里的速度连续行驶5分钟。尾随车辆由一名团队成员驾驶，该成员在SDV中与团队保持持续的沟通。实验过程中，尾车保持安全距离(30 -50m)。SDV的司机戴着肌电图设备和摄像头激光雷达使用ADS进行校准。肌电信号连续传输，其中一个例子的w值为64。连续的信号流被附加到一个队列中，生成一个样本，将最远的信号剥离出来，并附加一个最近的信号，以便用连续的信号流进行预测。按照4.5.2节的方法训练SVM，并将预测结果传递给ADS。

ADS从捕捉汽车后视图的摄像头捕获数据流。数据流被传递给车道检测和目标检测算法。本实验采用FLIR Blackfly-S相机进行后视镜拍摄，帧率为522fps。另一个实验使用罗技c930网络摄像头后视摄像头，帧率为30fps。车道检测和目标检测实时工作，超过30帧/秒。实验使用了Velodyne HDL-32E激光雷达，它提供了一个360◦的视场（FOV），每分钟最大旋转1200次（RPM），为我们提供了20fps，并覆盖80m-100m的距离。实验中的激光雷达设置也使用了120◦的后视范围，600RPM，将频率降低到10fps。ADS中的校准，提供了在后视镜中检测到的车辆的距离。

图7显示了ADS中所有模块的结果，左边的窗口显示了检测到的尾随车辆。左侧底部分别显示了一张带有车道检测的图像。在点云数据的右侧可以看到经过校准的车辆三维检测，它还显示了与车辆的距离。图7右上角显示了预测意图的分类和标记的边界框。通过对话框和可穿戴式肌电设备的振动产生警告。在点云数据中可以看到，在系统产生警告时，我们的车辆是略微向左的。

4.5.4.  她能从错误中恢复过来吗?

考虑到其他模块的实时计算，本研究的一个相关结果是预测预期动作的计算时间。预期的运动动作检测与肌肉的运动起始竞争。通常使用运动相关皮层电位(MRCP)来研究延迟(44)，而在实验装置中使用肌电图来检测起始运动(45)。此外，还可以探索电化学延迟(ECD)和机电延迟(EMD)，以评估使用肌电图进行预期动作检测与初始运动之间的差异。这项研究试验了在ADAS中使用EMG进行运动意向检测的效用，并且不能从讨论的技术中受益，使用（45）中给出的方法检测确切的延迟。因此，本研究依靠拟议框架中每个模块的计算时间来回答相关问题。

本研究的计算如下:肌电可穿戴设备与边缘设备使用蓝牙设备连接，最坏情况下低能量蓝牙传输时延为46ms(46)。预测肌电的计算时间为0.55ms(±0;1)边缘设备到计算机器的通信是在千兆网络上，这是微不足道的。它不增加最终结果传输到我们的计算机器的延迟，并需要100ms(±10)。计算机器实时计算车道检测、目标检测和激光雷达到相机的映射。所有计算都是并行执行的，一个简单的控制逻辑将所有模块的结果累加起来，并在不到2ms的时间内生成一个警告。这种警告会向边缘设备发送信号，然后向肌电图穿戴设备发送振动命令，以警告司机。总的来说，整个传输过程的往返时间不到200ms。如果我们回到我们的例子中，如果下面的车辆以60km / h的速度行驶，并且距离我们的车辆17米，系统有500毫秒的时间来预测并警告司机。测试系统的计算时间远远小于推测的时间。然而，先导系统使用从上肢捕获的肌电图信号来预测意图。在系统开始其预测时，运动动作已经启动，但距离超过50米的车辆可以为驾驶员提供缓冲，以便从可能导致意外情况的动作中恢复过来。

图7: 完整的信号描述和经过处理的计算结果。左侧为后视镜摄像头捕捉到的图像数据，对图像进行车道检测和物体检测。右图底部是点云数据，顶部是肌电图数据。左上方的图像显示了融合后的结果，包括车道和目标检测以及激光雷达测量的距离。肌电数据中的红色三角形表示连续的肌电信号流中的意图预测。

这项工作提出了一项试点研究，旨在评估生物神经激活对高级驾驶辅助系统（ADAS）的效用。肌电图（EMG）被用来预测司机手臂向左或向右方向转动方向盘的预期动作。预测信息与图像中的物体检测和激光雷达点云数据相结合，并反馈给控制逻辑。该算法使用后视摄像头图像和激光雷达点云数据来检测后续车辆、其位置以及与自驾车的距离。结果表明，所提出的系统产生的警告可以及时提醒司机，让他从运动开始时恢复过来，并以触觉反应来模仿本体感觉反射。该系统使用一个简单的EMG可穿戴设备作为输入，并使用传统的SVM来预测预定动作。它可以被扩展到设计一个具有脑电图和最先进的机器学习算法的特定应用系统。此外，可以将特定任务的EMG传感器设计成更靠近脊柱的佩戴方式，以便更早地感知电刺激并提前预测。另一个前景是使用脑电图同样的目的，这将使它更接近实际的要求，并将赢得更多的时间计算和产生警告。

分享不易，恳请点个【👍】和【在看】