基于赛灵思的传感器融合方案

1. 融合! 融合起来!

对于L3来讲，由于高级别半自动驾驶（如代客泊车AVP）需要对地图进行构建，并进行基于地图的路径规划，通常需要引入激光雷达(为解决盲区，还需要布置高低位置的多个激光雷达)，视觉、毫米波和激光雷达的数量总数基本会超过10个:

随着高级辅助驾驶需要更多传感器种类与数量，如何将这些信号归一化为主控SoC需要的数据，也就是传感器数据归一化（normalization）的需求如何实现呢？这就是我们提及的传感器融合的需求了：

那么传感器数据数据归一化，具体来说要如何进行呢？我们由下图来解释一下：

将多个传感器数据的负载(Payload)， 统一打包为包含报文种类、时间戳(Time Stamp)、其他包头信息和负载的数据包，传送至主控芯片，就是传感器融合的信息了。

我们来总结一下传感器融合的作用：

A 获取车辆环境信息；

B 获得更精确的结果；

   --均衡不同传感器的权重

   --针对传感器失效的鲁棒性

   --各传感器取长补短

C 主要任务

   --定位

   --地图绘制

   --路径规划

2. 当融合时且融合

当我们意识到传感器融合的优势时，就会发现FPGA在传感器融合上的优势：

--FPGA的IO Pin可以灵活配置，适合不同的传感器接口

--FPGA的逻辑可以灵活设计，针对不同型号的传感器做出针对性的设计。

而传感器融合的基石，就是如何进行数据同步!

针对上述的同步，具体方式如下:

1. 硬件同步 / Hardware synchronization

    --使用同步触发(trigger acquisition， FPGA的强项之一哦!)

    --所有传感器使用同一个硬件给出的时钟源(FPGA的IO资源非常适合做配置!).

2. 软件同步 / Software synchronization

    --使用时间戳(timestamp ) 同步

    --每个传感器自行加入校正后的时间戳

3. 空间同步 / Spatial synchronization

    将各传感器坐标系统归一化为统一系统（对坐标系转换的硬件加速也是FPGA的强项!）

4. 时空同步 / Spatiotemporal synchronization

    --以上所有同步的综合

下面也给出一些使用FPGA进行同步的技术技巧：

1. 统一的的坐标系与时钟；

2. 使用GPS提供时间戳的时钟同步与校准；

3. 一般使用激光雷达提供Trigger , 作为数据对齐基础；

    --这是自动驾驶技术的历史传承，基于ROS / ROS2 的 Autoware， Baidu的Apollo及其他开源版本都是如此。

4. 传感器相互之间进行校正 ( Sensorcalibration )；

同步后数据，如何通过网络在车内网络传输，也是传感器融合的重要功能，而TSN (时钟同步网络) 更是会助力融合更好地进行!

3.  如何十分安全地融合？

既然传感器融合主要用于汽车应用，功能安全就变得非常重要！针对功能安全的需求，作为可编程器件领先品牌，赛灵思针对各行业的安全需求，提供了由原厂或第三方提供的服务:

其中和汽车相关的 IEC-61508和 ISO-26262认证，赛灵思都提供原厂直接支持的文档、工具和服务。

       当然还有经过车规验证的各型号SOC/FPGA、IP、工具链和参考设计开发板，如果您有需求，都欢迎联系科通哦!

4.  有科通，融合更方便

针对车规需求，我们集成科通代理的相关产线，为您提供整体方案。下图也只是其中一部分哦!

更多信息，欢迎联系：

lukeliu@comtech.com.cn

      simonyang@comtech.com.cn

    charlesxu@comtech.com.cn