潜力与挑战并存，未来边缘AI可能会有这些新变化......

“人工智能对于建设未来的互联世界至关重要，在这个由数十亿个设备构成的智能世界里，它们需要具备更高的安全性、连接性和智能性，我们称之为云连接智能边缘。“意法半导体(ST)亚太区人工智能技术创新中心和智能手机技术创新中心高级经理Matteo MARAVITA日前在接受媒体采访时指出，这些设备将覆盖我们日常生活的方方面面，从家庭、公司、工厂，到城市、楼宇、交通出行等各个领域，当考虑到这些设备及其背后的商业模式时，我们可以清晰地看到边缘人工智能将为未来带来何种深远影响。

ST亚太区人工智能技术创新中心和智能手机技术创新中心高级经理Matteo MARAVITA

构建未来世界的基石

安全性、连接性、自主性，是Matteo列举的边缘AI需要具备的三个基本要素，它们共同构成了边缘AI的核心框架，为智能设备的运行提供了坚实的基础。 

以车规传感器为例。ST与HPE集团合作，利用边缘人工智能优化电动汽车的电机运维——双方联合开发的虚拟传感器方案，通过在Stellar系列车规微控制器上运行人工智能算法，获取电机运行数据，进而推断和估计电机内部无法测量到的温度。该方案不仅可以运行人工智能、驱动电机，还为电动汽车的预测性维护提供了新的可能，以识别减震、机械和电气系统中可能存在的异常状态。

在PC领域，ST利用六轴IMU MEMS智能传感器，与惠普共同优化了笔记本电脑的电源监控。这些传感器能够收集机器在不同条件下的运行数据，双方工程师以此为基础合作开发和训练了基于设备和用户动作的AI模型。这种模型能够识别特定的使用场景，例如在关闭笔记本电脑前避免过热和电池耗尽，从而延长笔记本电脑的待机时间并提高使用寿命。

在家电领域，通过在洗衣机电机控制的STM32微控制器上运行人工智能算法，ST能够估算待洗衣物的重量。根据计算，一个洗涤周期节省15%-40%的能源和水。同时，人工智能算法还能够检测滚筒在旋转时可能发生的碰撞情况，提高了洗衣机的稳定性和耐用性。 

Matteo认为，边缘人工智能给相关应用带来的优势可以分为三类：第一类是性能提升。不言而喻，得益于AI技术，终端产品的性能将变得越来越好；第二类是提高产品在极端情况下耐变性或鲁棒性。也就是说，当我们遇到一些极端情况导致标准算法的效果不尽人意时，AI可以帮助算法提高检测准确度；第三类是在终端产品中增加以前没有的新特性和新功能，帮助客户提高终端产品的创新性和吸引力。

边缘AI的挑战

“尽管边缘AI带来了巨大的潜力和机遇，但开发人员在实现过程中也面临着诸多挑战。在硬件方面，他们需要在确保应用整体性能的同时，考虑安全性、功耗等因素。而在软件方面，他们需要在设备中实现机器学习模型的创建、训练、部署和维护。”Matteo说。

ST的人工智能研发计划开始于十年前，从机器学习技术的基础研究开始，逐步发展到专门针对硬件资源受限的边缘设备进行AI优化：

• 2018年，ST发布了首个STM32 AI库(Cube AI)
• 2019年，推出内置MLC机器学习核心MEMS传感器，并加入TinyML联盟；
• 2020年，ST将人工智能的布局和支持范围扩展到汽车、Linux等领域。
• 2021年，发布NanoEdge AI生态系统。
• 2022年，发布了集成更先进硬件加速器的MEMS传感器ISPU，能够在同一传感器内运行较小的深度学习网络；
• 2023年，发布STM32开发者云模型库，并更新了Stellar系列车规MCU工具。

数据显示，目前在MLPerfTiny5基准测试提交项目数量排名中，STM32位列第一，有73%的提交项目基于STM32开发。

集成自研NPU的STM32N6是ST比较有代表性的硬件方案。其与合作伙伴Lacroix合作开发的机器学习模型进行多对象识别跟踪AI算法结果显示，每秒18帧的行人、自行车和汽车检测和跟踪算法全部在NPU上执行，基于Cortex内核的负荷不到5%。而在安全性方面，产品不仅在内部集成了可信区域，还增加了安全功能外设，例如防篡改等功能，有了这些新功能，客户和开发者不仅可以保护存储器内的数据，还能保护机器学习模型的安全。

Matteo表示，相比硬件，软件给开发者带来的挑战更多。为此，“提供强大的开发工具和支持，帮助开发人员更轻松地创建、训练和部署模型”成为了ST的核心目标。作为ST集大成的AI开发平台，ST Edge AI整合了边缘人工智能开发所需的全部工具和模块，从用模型库创建用例开始，到收集数据集，再到把模型部署到特定的硬件上，涵盖了整个开发过程，适用于包括嵌入式硬件工程师，软件工程师以及机器学习工程师在内的所有开发者。

ST Edge AI套件支持广泛的深度学习框架，包括TensorFlow Lite、Keras、PyTorch等训练的机器学习模型。与NVIDIA工具包兼容，并提供了连接到亚马逊云科技(AWS)和微软Azure等云服务，兼容MATLAB等仿真工具。

“目前边缘人工智能并没有一个统一通用的开发方法，但在开发边缘人工智能解决方案的过程中，为开发者提供指引和信息是非常重要的。因此，ST Edge AI套件考虑到了这个因素，可以帮助用户根据自己的知识和资源找到最佳的方法和工具。我们还考虑融合和统一各种工具的用户体验，以简化人工智能库的设计流程。“Matteo表示，ST Edge AI和Nano AI Studio均免费提供给STM32的客户，同时根据特殊许可协议，其他ARM Cortex-M的微控制器也可以免费使用。

大模型与边缘AI

AI大模型无疑是目前全球最为热门的研究领域。但在Matteo看来，至少在目前，大型语言模型(LLM)仍无法在边缘AI设备上运行。“我们认为，在不久的将来，市场上会出现性能类似但数据量较小的模型、Transformer或LLM，可能会给边缘AI带来更新鲜的体验。“他说。

从目前的实际使用情况来看，绝大多数的人工智能模型，包括基于机器学习的模型(例如决策树、随机森林、SVM)和深度学习模型(基于全连接的架构、CNN卷积神经网络等)RNN循环神经网络都能运行在ST的产品上，唯一的限制来自模型的复杂性和参数量。因此，对LLM大模型，以及LLM基本架构Transformer的发展变化保持密切关注，会是ST接下来的重要方向之一。 

Matteo还提到了存内计算以及存算一体技术，并将其视作边缘AI发展的一个重要趋势。ST方面认为“此类产品将会改变市场的游戏规则”，因为其性能将提升到现有水平的十倍，而功耗仅有十分之一。

当然，创新不仅仅体现在硬件产品或平台上，与NPU和存内计算相关的软件工具和编译器也有很多创新，需要大量的微调和优化。

他强调称，AI开发人员需要彻底转变思维，从基于“如果-则-否则”(“if-then-else”)的传统算法转向专注于数据集的人工智能算法。尤其是在验证整体解决方案时需要转变思维，需要更多地关注用例的定义、数据集的创建及其验证。

同时，在芯片设计和制造方面，设计终端产品的重要性超过了芯片设计本身，因为客户需要在数据集创建、产品测试和制造过程中嵌入新的流程，人工智能功能也需要经过专门得测试才能投放市场。