传感器聚合（Sensor Fusion）是莱迪思FPGA的一种常见应用，它也是莱迪思市场营销团队经常讨论的一个话题。凭借其低功耗和小尺寸等特性，莱迪思FPGA通常用于网络边缘应用的传感器聚合。然而，在最近的一次谈话中我们意识到，“网络边缘应用”的定义在终端市场上可能有所不同，因此写一篇文章来讨论这些差异应该颇有助益。
在工厂工作的工程师可能会把“网络边缘（Edge）”理解为物理世界（主要是生产线上的机器）和非物理世界（主要是工厂的内网和/或互联网）之间的边界。在此情况下，他们所认为的网络边缘设备可以包括传感器、作动器和用于监控机器状态并根据需要执行任何纠正措施的控制系统。这些设备通常可能以人工智能（AI）的形式拥有某些认知（推理、思考）能力。
以机器维护举例。机器维护可以采用很多不同的策略，包括被动式、主动式和预测性维护。被动维护一般是机器持续运行直至出现故障，然后才进行维修。这种方法的好处就是大多数时候都不用照看。但是问题在于机器出故障后可能会影响整个生产线，让原本可是只是很小的毛病带来大隐患。主动式维护则根据时间安排或运行小时数对机器进行定期维修，并更换选定的零件。这种方法的优势是机器可以运行很长时间不出问题。但缺点就是零部件可能尚未达到使用寿命就被更换，以及需要消耗资源去执行可能并无必要的维护任务，从而大大提高了成本。相比之下，预测性维是让网络边缘设备使用人工智能来监视机器的健康状态，掌握机器动态趋势和异常状况，并指导维护团队及时解决潜在问题，防止其进一步恶化。
相比之下，汽车设计师则会认为整辆车都在“网络边缘”上。在此情况下，车辆可能配备各种先进的驾驶辅助系统（ADAS）以及自主特性和功能，这些都依赖于从各类传感器收集的数据，包括图像传感器（摄像头）、激光雷达、雷达、超声波和远红外设备。同时，汽车AI系统的任务是帮助驾驶员驾驶，而不能碰撞到任何人或物体，并防止事故发生，保护车辆及乘客。
用于ADAS和自主应用的典型汽车传感器
正如“网络边缘”一词对不同的人含义不同，“传感器聚合”也是如此。从最通俗的意义而言，传感器聚合是将来自不同来源的传感数据进行合并，从而让最终的信息与单独使用这些数据相比拥有更少的不确定性。
传感器聚合的一种形式是将加速度计、陀螺仪和磁力计等传感器的数据进行组合，充分利用各个传感器的优势，弥补劣势。对于这几种类型的传感器，我们现在讨论三个轴：X轴，Y轴和Z轴。
X、Y、Z轴
每个轴都可能有两种类型的运动：直线运动和旋转运动。直线运动是，可以沿着X轴左右移动、沿着Y轴上下移动、也可以沿着Z轴前向移动。这些可视为三个自由度（3DOF）。 相比之下，在进行旋转运动时，可以绕X、Y和Z轴中的一个或多个进行旋转，从而提供额外的3DOF。因此，我们可以说任何经典物理系统最多具有6DOF，因为系统在三维（3D）空间中只有六种不同的移动方式。
我们可以通过测量两个时间点（tn和tn+1）的所有可能的DOF的数值，然后计算它们之间的差异，然后不断重复该过程来确定物体的运动。此外，我们可能还需要知道方位（即相关物体相对于其他物体的物理位置或方向），我们可以通过物体在tn时刻的所有可能的DOF值来确定方位。
一个三轴的加速度计可以测量X、Y、Z轴的直线运动，三轴的陀螺仪可以测量X、Y、Z轴的旋转运动。同样，三轴磁力计可以感应到X、Y和Z轴上最强的磁力来自何处。磁力计通常用于检测地球磁场，但如有需要，也可以测量人造磁场。
每种传感器都有自身的优点和缺点。例如加速度计容易受到振动影响而不容易被磁场影响；磁力计则不受振动影响，但是容易受到其他磁场影响。加速度计的数据可用于推导出旋转运动的信息，但是陀螺仪可提供更准确的旋转运动结果。另一方面，陀螺仪也会受到漂移的影响，但这对于加速度计和磁力计来说并不是问题。
因此，从理论上来说，传感器聚合至少包括监控这三种类型的传感器输出，并使用每对传感器的数据来校正另外一种传感器中的错误。
传感器聚合的下一个阶段包括整合来自多个传感器的数据，实现“情境感知”，用于增强系统对现实世界中发生的事件的理解，便于更好地做出决策。例如，早期的健身可穿戴健身设备尽管能够比较准确地测量地面行走的步数，但是在跑步机等健身机器上时就不那么准确了，并且短暂乘坐自动扶梯可能就会多算1000步。相比之下，如今的可穿戴设备采用传感器聚合和人工智能的组合来过滤掉无关的讯号，从而确定佩戴者是在走路、跑步、骑自行车还是游泳，而且仅计算正确的锻炼活动。
就汽车而言，另一种类型的传感器聚合可能是从多个传感器（摄像头、激光雷达、雷达等）收集数据并及时对齐数据，然后将它们传输给AI系统，比较不同的传感器报告的数据，如果各个传感器得出的结果不一致，则需要格外注意。
多数类型的传感器聚合都需要以低延迟处理大量实时数据，这并不奇怪。传统的冯·诺依曼处理器架构并不是特别适合这项任务。相比之下，现场可编程门阵列（FPGA）（例如莱迪思CrossLink™-NX器件）是传感器聚合应用的理想选择，因为它们的可编程架构经配置可以通过大规模并行方式执行传感器处理算法。
此外，CrossLink-NX FPGA包括两个硬核4通道MIPI D-PHY收发器，每个PHY运行速度高达10 Gbps，为视觉处理、传感器聚合和AI推理应用提供行业最佳的性能。
此外，莱迪思mVision™和sensAI™解决方案集合充分支持CrossLink-NX FPGA。莱迪思mVision包括了嵌入式视觉系统设计人员评估、开发和部署基于FPGA的嵌入式视觉应用（例如机器视觉、机器人、ADAS、视频监控和无人机）所需的全部资源。与此同时，功能强大的莱迪思sensAI则包括了开发人员评估、开发和部署基于FPGA的人工智能/机器学习应用所需的资源。
在网络边缘（无论是哪种情形）实现传感器聚合（无论以何种方式）都有利于节约通信带宽，同时快速获得结果，而不是将大量数据传输到云端然后等待返回结果。此外，低功耗、高性能FPGA（例如CrossLink-NX器件）提供的大规模并行处理能力意味着网络边缘的传感器聚合现在既容易实现又节约成本。
