AI从云端转向边缘，新架构应运而生

随着人工智能（AI）能力从云端转向边缘，芯片制造商必然会找到可行的方法，在更小、更高效，且成本更低的设备中实现各种AI功能，比如神经网络处理和语音识别等。

在数据中心执行繁重任务的大型昂贵的AI加速器不大可能适合边缘设备。针对特定应用的尺寸、价格和功耗等要求，在边缘设备中实施AI的争夺战已经打响，各种芯片方案竞相登场，包括CPU、GPU、FPGA、DSP，甚至微控制器(MCU)。

在最近举行的Linley处理器研讨会上，Cadence设计系统公司和Flex Logix技术公司分别发布了专门针对边缘AI的设计架构。两种架构都专注于将AI功能引入边缘节点设备，而且重点是减少内存占用。

Semico Research的高级分析师Rich Wawrzyniak表示，“并非一切都在云端，带有AI功能的终端设备将成为主流。”

据Tirias Research首席分析师Jim McGregor称，大多数即将面市的解决方案仍然是“一定程度的混合方案，即大部分处理任务在边缘进行，但必要时还是要在云端处理，除非只想听特定的词语或声音。”

“我们确实看到更多语音处理在边缘完成的发展趋势，”Tirias分析师Kevin Krewell说道。 “将所有语音数据发送到云端会有隐私问题。而且边缘处理还可以减少延迟响应。此外，边缘端的处理能力也越来越强。”

McGregor表示，使用DSP是边缘处理的最有效方式。 “然而，我看到Alexa智能音箱使用的处理器是ST公司的STM32 MCU。”

Cadence的Tensilica HiFi 5 DSP专注于实现语音识别和基于神经网络的处理，而Flex Logix的NMAX架构则专为更复杂的神经网络推理而设计。两家都声称其架构在成本、性能和功耗方面都比现有架构具有显著优势。

根据Wawrzyniak的说法，新的架构代表着IP供应商的升级，他们开始提供专门用于AI的IP。他补充道，目前在AI中使用的大部分IP都是针对通用SoC的IP类型。 “随着应用变得更加专精，IP开发商将会推出更多专为AI而优化的产品。”

NMAX神经推理引擎

Flex Logix是一家成立仅四年的初创公司，以嵌入式FPGA而闻名，宣称其NMAX神经推理引擎可以在模块化、可扩展的架构中达到100万亿次操作/秒（TOPS）的神经推理性能，而所需DRAM带宽只是竞争技术的很小一部分。

Flex Logix首席执行官Geoff Tate表示，其互连技术可有效应对神经网络推理中的最大挑战，即最小化数据移动和功耗。跟该公司的eFPGA一样，NMAX采用平铺方式，可让用户根据需要扩展阵列。他说，NMAX平铺可以按照所需TOPS的配置来排列，可根据需要使用不同数量的SRAM，最高可达100TOPS峰值性能。

NMAX512平铺架构。（资料来源：Flex Logix）

这种架构还带有分布式的片上SRAM，可根据需要进行重新配置，这是针对不同数据大小的优势。它还具有互连功能，可以在SRAM输入组、MAC群集和每级激活到SRAM输出组之间重新配置连接。

Tate还表示，NMAX即使在小批量处理中也能迅速执行神经网络推理，这是Nvidia和Habana Labs等推理引擎难以做到的，因为每层加载需要很多时间。他补充说，小批量处理对边缘应用尤为重要，因为需要尽量减少延迟。他还展示了NMAX在28、10和1等不同批量的处理数据，每秒可处理多达19,000个ResNet-50图像。

“通常情况下，现有架构在大批量处理中具有良好的吞吐量，但在较小的批量处理中却不太好，因为加载需要很长时间，”Tate向EE Times解释道。

ResNet-50在低批量处理中的性能比较。（资料来源：Flex Logix）

Tate强调，Nvidia的Tesla T4和Habana的Goya要比NMAX需要更多的DRAM带宽。 “最根本的是，我们的价格将比其他人便宜10倍，”他说。 “他们需要8个DRAM来获得这个吞吐量，而我们只用一个DRAM就够了。”

NMAX仍处于开发阶段，预计将于2019年下半年开始供货。Flex Logix计划在2019年春季Linley处理器研讨会上展示该技术的进展情况。

再看Cadence，其Tensilica HiFi 5是一种用于音频和语音处理的DSP内核，专门针对远场处理和基于AI的语音识别处理进行了优化。这是流行的Tensilica DSP系列的第五代产品，是获得业界最广泛授权和认可的音频、视频和语音DSP，其年出货量已经超过10亿。据Cadence称，跟其上一代HiFi 4相比，HiFi 5具有两倍的音频处理能力和四倍的神经网络处理性能提升。

Tensilica HiFi 5架构。（资料来源：Cadence）

HiFi 5与HiFi系列的其它产品在软件上具有兼容性，包括300多个HiFi优化的音频和语音编解码器，以及音频增强软件包。Cadence还推出了一个新的库，它可提供一组优化的库函数，特别适用于神经网络处理------尤其是语音，可以集成到流行的机器学习框架中。

Cadence宣布，位于德州奥斯汀的亚阈值晶体管微控制器开发商Ambiq Micro是第一家获得HiFi 5授权的客户。