神经网络需要标准化接口规格

深层神经网络的机器学习已经成为热门话题，因为该类技术在众多领域都有超越人类的表现；而科学家们对此题材的热情，已经催生了数个能布署神经网络时处理训练(training)与推理(inference)阶段的解决方案。

训练与云端推理通常使用类似的硬件，大部分是绘图处理器(GPU)，也有一些像是Google的张量处理器(TPU)等以云端为基础的推理专用引擎；相较之下，边缘装置(edge devices)的推理则仰赖高度优化的硬件加速器，大多数以DSP为基础，两者的共通点非常少，也面临各自不同的优化挑战。

多样化的推理引擎与各种训练框架相互搭配，所有推理引擎都具备自己的功能与输出格式；而这种多头发展的情况很可能对行动智能系统的成长有害。为此产业组织Khronos Group决定扛起将软件与硬件链接的任务；Khronos订定的开放性标准将硬件细节抽象化，因此软件开发者能处理单一平台。

举例来说，Khronos的OpenVX提供了一个以图形为基础的应用程序编程接口(API)，以加速计算机视觉硬件，包括以神经网络为基础的系统，允许导入经训练的网络做为图形中的节点。

现在Khronos已经在准备推出一种标准交换格式，用以映像训练框架到推理引擎上；这种神经网络交换格式(Neural Network Exchange Format，NNEF)是开放的、可扩展的传输格式，能让工程师将任何框架上经过训练的、支持跨厂商格式的网络移到任何能读取它的推理引擎上，可以说像是神经网络的一种PDF。

NNEF规格还在定义中，因此与Khronos的步调一致，其细节仍然保密；一旦规格获得通过，其细节将完全公开，因此不只是Khronos的成员、所有人都能制造NNEF的输出装置(exporter)以及导入装置(importer)。

*从高层级来看即将问世的NNEF将能如何应用
（来源：Khronos）*

最典型的NNEF应用情境，是在诸如Caffe与TensorFlow的框架与一个恰当的推理引擎之间移动网络，并可选择性采用OpenVX；该文件可能是机器生成，但NNEF是被设计为能让人类阅读，因此也可以被当作原始码，以建立层级化(hierarchical)、非常紧凑的新网络。举例来说，GoogleNet的结构只使用了大约20行代码来描述。

第一版的NNEF主要是加载经训练的网络以进行推理，因为Khronos的目标之一是以低功耗的机器实现高效率的执行。该标准将包含透过各种能理解该格式的工具实现之量子化(quantize)、强化(reinforce)以及再训练(retrain)的功能；这种功能预期能催生用以优化、重新训练原本以浮点训练之网络第三方工具，以支持省电、较低精度的推理。

目前标准订定工作已经在进展阶段，Khronos的工作小组预期在几个月之内完成最终候选规格的批准；届时会需要广泛的测试以及来自产业界的意见，以确保经过批准的标准足够强韧且实用。因此Khronos正广邀数据科学家与工程师参与NNEF的顾问团，特别是正在开发非标准以及创新网络推理架构的专家们。

参与顾问团的专家不需要具备Khronos会员资格，该组织也会给予有兴趣的企业或个人贡献一己之力与为这个标准提供回馈的机会；如果你也愿意参与，欢迎联系nnef-wgchair@khronos.org！

编译：Judith Cheng

(编按：本文作者Peter McGuinness为NNEF工作小组主席，曾任职Inmos、ST与Imagination)

本文授权编译自EE Times，版权所有，谢绝转载

关注最前沿的电子设计资讯，请关注“电子工程专辑微信公众号”。