终端侧人工智能是Qualcomm最近在多个场合反复提及的词汇。数据显示，未来5年全球智能手机的累计出货量将超过85亿部，这也是移动终端将成为全球最普遍人工智能平台的原因。Qualcomm一直以来在移动领域拥有领导地位，这为他们提供了利用已有的规模和技术，去促进手机和毗邻领域发展的机会。

“过去，比较复杂的人工智能相关的计算工作负载必须在服务器端或云端运行。如今，得益于现代终端设备对大量数据的掌握，以及在算法和处理能力方面的提升，人工智能成为了快速增长的普遍趋势。得益于更先进的算法和芯片技术，人工智能计算也可以在终端执行，这也是Qualcomm的聚焦点。未来的人工智能硬件将能维持较低功耗，并利用5G等无线通信技术，实现终端与云端之间的人工智能配合。”美国高通公司工程技术总监、中国研发负责人徐晧博士说。

在他看来，终端测人工智能至少具有以下四点优势：数据私密性强；可靠性高，比如避免传输过程的错误和延迟；低时延，比如汽车可以实时决策，而不是将数据上传到云端再进行处理；高效利用网络带宽，比如在终端侧就可对图像进行处理而不必全部传给云端。但与此同时，电池续航时间、内存以及存储空间等问题也是终端侧人工智能不得不面临的一系列挑战。

为了让终端侧的人工智能广泛普及，Qualcomm正致力于将自身在移动领域的规模优势，发展成为人工智能领域的机遇。Qualcomm于十年前就开始了AI相关的基础研究，目前Qualcomm的现有产品支持了许多人工智能用例：从计算机视觉和自然语言处理，到各种终端，如智能手机和汽车上的恶意软件侦测。同时，Qualcomm正在研究更广泛的课题，例如面向无线连接、电源管理和摄影的人工智能。 许多公司侧重于在云端运行人工智能相关的工作负载，但Qualcomm Technologies专注于在终端侧，如智能手机、汽车和机器人等，实现人工智能，以确保在有无网络或Wi-Fi连接的情况下都能够完成处理。终端侧人工智能的优势包括即时响应、可靠性提升、隐私保护增强，以及高效利用网络带宽。公司具体在人工智能领域的代表性实例包括：

• Qualcomm在2007年启动首个人工智能项目
• Qualcomm与谷歌、Facebook合作，以支持目前主流的深度学习架构TensorFlow、Caffe等。
• 2017年7月，Qualcomm推出了骁龙神经处理引擎(Snapdragon Neural Processing Engine, SNPE)SDK，这是一套软件工具开发包，能够让人工智能应用在现有的Qualcomm骁龙芯片上运行，覆盖市面上很大部分的移动芯片产品。
• 2017年8月，Qualcomm宣布收购人工智能公司Scyfer，以充实其相关人才团队。Scyfer已为全球多个不同行业的公司打造了人工智能解决方案，包括制造业、医疗业和金融业。
• 2017年10月20日，Qualcomm与商汤科技宣布，计划围绕移动终端和物联网(IoT)领域产品，在人工智能(AI)和机器学习(ML)方面展开合作，共同推动终端侧的人工智能发展

  

人工智能未来的终端平台

SNPE是首个面向骁龙移动平台设计的深度学习软件框架。旨在向开发者提供软件工具，面向搭载骁龙处理器的移动终端和其他类型的网络边缘终端，加速深度神经网络工作负载运行。开发者可针对所需的用户体验选择最佳的骁龙内核——包括Qualcomm® Kryo™ CPU、Qualcomm® Adreno™ GPU或Qualcomm® Hexagon™ DSP。相对于其他基于云端 (Cloud) 的深度学习处理引擎，它具备数据私密性强、可靠性高和低时延的特点。

SNPE将向多个行业(包括移动、汽车、医疗健康、安全与图像)的开发者提供他们所需的工具，以实现终端侧的、由神经网络驱动的用户体验。开发者已开始使用SNPE，发挥骁龙的能力以支持移动应用体验。例如，Facebook已宣布计划将SNPE集成到Facebook应用的相机功能中，以促进Caffe2支持的增强现实(AR)特性实现。相较于通过一般的CPU实现，Facebook可利用SNPE，基于Adreno GPU实现5倍的性能提升，从而在拍摄照片和直播视频时，实现更流畅、无缝且逼真的AR特性应用。

骁龙移动平台上灵活的算法部署、完备的模型框架/网络支持和完善的优化/调试工具被徐晧视作SNPE具备的三大优势。他解释说，用户可以充分利用骁龙的异构计算能力，在所有内核 (CPU、GPU和DSP、HVX) 上运行时和库加速深度神经网络。SNPE目前支持卷积神经网络和递归神经网络/LSTMs、以及Caffe/Caffe2、TensorFlow和用户/开发者自定义层，开发者可以利用离线网络转化工具调试并分析网络性能，API和SDK文件 (包括示例代码) 也非常易于集成到客户应用中。未来，再利用5G无线通信技术，就可以实现终端侧与云之间的人工智能配合和连接。

为终端侧设备开启感知智慧

目前在全球范围内，得益于大数据及人工智能技术的突飞猛进，以智能手机、汽车、机器人为代表的终端侧设备正在从传统的控制器、电机为核心的控制科学向以计算为核心的包括了机器通信技术、机器视觉、多传感器数据融合、机器学习技术在内的数据科学转变，这一转变为Qualcomm这样一家以信息技术创新为核心竞争力的公司供了巨大的机会。

“三十余年持续的技术创新投入加上世界一流的科学家与工程师团队，让Qualcomm可以提供领先世界的机器通信技术、计算机视觉技术、机器学习技术解决方案。”徐晧表示，Qualcomm不仅是充满创意的技术发明者，更是全球最具实力的无晶圆半导体厂商，Qualcomm能够将其发明的各种技术集成在骁龙移动平台，融强大的技术于细小的芯片当中。同时，凭借强大的客户生态系统和完善的工程服务体系，客户可以在最短的时间利用Qualcomm平台构建机器人产品和服务。

而骁龙处理器平台之所以能从智能手机跨越到机器人、无人机等更多新兴应用领域，徐晧认为以下三点功不可没：

• 丰富的感知能力。骁龙平台提供包括传感器DSP，图像信号处理器在内的多传感器处理能力，以及基于传感器的情景感知处理、基于图像的计算机视觉处理和基于多传感器的数据融合能力。
• 强大的计算能力。Qualcomm强调基于高性能异构计算的人工智能，例如Qualcomm的SNPE可以帮助客户将已有的基于Caffe、Caffe2和TensorFlow的深度学习应用在Qualcomm Kryo CPU、Adreno GPU和Hexagon DSP上协同加速，从而实现更好的算法性能。
• 出色的低功耗设计，这对于由电池驱动的移动机器人而言至关重要。

在Qualcomm的眼中，在人工智能加速发展和成熟的时代，手机从技术上正在从专用设备变成具备感知、计算、推断、决策的通用智能设备；在形态上，从脱离于环境的掌中设备向融入环境的可穿戴设备进化；在交互方式上，从机器交互方式自然对话方式交互。所有这一切都表明了智能手机正在全面从消费者的个人助理向朋友进化，这些进化背后的正是机器人技术进化相同的推动力。

徐晧强调说，尽管机器学习是当前最为火热的话题，但其发展征程仍处于最初阶段，深度学习也仅是具备改变计算潜力的多项机器学习技术之一。因此，为了实现更复杂的应用，Qualcomm未来还需要在专门的硬件架构、神经网络技术的提升和面向终端侧应用的网络优化等多个领域持续前进。比如持续关注低功耗硬件(无论增强型、专用型还是定制型)，以处理这些机器学习工作负载；针对半监督和无监督训练进行相关研究，如生成式对抗网络(GANs)、分布式学习和隐私保护；进行压缩、层间优化、稀疏优化，以及更好地利用内存和空间/时间复杂度的其他技术的相关研究等。

关注最前沿的电子设计资讯，请关注“电子工程专辑微信公众号”。