当VR/AR有了认知能力，嵌入式会有哪些新玩法？

近来有许多不同的技术开始发挥作用，包括虚拟现实(VR)、增强现实(AR)、嵌入式视觉、嵌入式语音以及认知(推理、思维)系统等；预计在2017年，当这些技术的力量开始结合，共同为嵌入式系统创造迄今能力所不及的先进功能时，可望使今年成为AV、VR与认知技术的转折点。

认知能力

让我们从思考认知系统开始，在此情境架构下，这是指使用自然语言进行处理的系统与机器学习，让人们和机器得以更自然地互动；同时，它也指观察和学习周遭发生事物的系统。

信息技术研究与分析公司Gartner创造出“Gartner新兴技术成熟曲线”(Gartner Hype Cycle for Emerging Technologies)，为业务策略家、首席创新官、研发(R&D)主管、企业家、全球市场开发商，以及新兴技术团队在开发新技术产品组合时，提供针对技术与趋势发展的跨产业观点。

技术成熟曲线的五个阶段分别是科技诞生的促动期 、过高期望的峰值、泡沫化的底谷期、稳步爬升的光明期，以及实质生产的高原期。在2014年版的技术成熟度曲线(Hype Cycle)中，机器学习(machine learning)虽然已在学术界引发浓厚的兴趣，但却还未能占有一席之地。

图1：2014年版Gartner技术成熟度曲线：机器学习尚未出现 （来源：Gartner）

令人惊讶的是，仅仅在一年后的2015年版技术成熟度曲线中，机器学习突破了“过高期望的峰值”阶段。

图2：2015年版Gartner技术成熟度曲线：机器学习迅速发展达到高峰 （来源：Gartner）

人工神经网络(ANN)是由神经元分层形成的。早期的系统支持包含很少神经元的几个分层，网络本身在本质上也是线性的。而最近的神经网络，如Google TensorFlow支持多输入与多输出，以及每个层级多个分层。

图3：支持多输入多输出以及多分层的神经网络 （来源：Max Maxfield）

此外，现在还能打造出包含多达1,000个这种分层的深度神经网络(DNN)。采用提高抽象能力的前端工具，以及将训练用的浮点网络转换成适于部署之定点网络的后端工具，进一步扩增了这些网络。

其结果是深度学习能力的惊人成长。大多数人涉及的深度学习任务是嵌入式视觉。确实，在今年的嵌入式视觉高峰会议(Embedded Vision Summit)上，展览区充斥着辨识随机影像的系统。最有趣的部份在于有人说：“这里的空间太狭窄了，如果不放几套嵌入式视觉系统的话，连要转个身都很困难！”

但是，深入学习并不仅止于此，还有各种新应用正如雨后春笋般陆续出现。例如，经过适当训练的系统可以观看视频、确定可预期的声音，并以一种可能骗过人类观察者的方式产生那些声音。或者，以嵌入式视觉实现的头戴式眼镜，能够侦测并辨识对象，以及为配戴这种设备的盲人或视障人士描述场景。

在此，真正的意义在于我们仅仅触及了机器学习系统可执行任务的表面。根据预测，50%的嵌入式系统将在2021年以前拥有一定程度的认知能力，距今仅五年之遥。

虚拟现实与增强现实

虚拟现实的整个用户体验其实是由计算机产生的。虽然复杂的虚拟现实系统已经存在学术界、工业与军事环境中有一段时间了，这种系统一直是相当庞大、耗电，而且也极其昂贵，从而使其难以达到商业应用和个人。

随着高阶的Oculus Rift和HTC Vive虚拟现实头戴式系统推出，这一切都在2016年开始变化。接着是诸如PlayStation VR等中阶系统，以及像三星(Samsung)的Gear VR和Google Daydream等低阶系统也陆续出现。

当有人第一次体验这些高阶VR系统后，他们经常将其描述为星舰迷航记(Star Trek)中的“全像甲板”(Holodeck)。身历其境的感官体验几乎就像是真实的。例如，看看那些有惧高症的人，当他们站在虚拟城市的高楼大厦边缘时，你可以感觉到他们的膝盖开始发抖。

基于当今虚拟现实系统的各种游戏与应用蔚为壮观，但人们已经开始思考结合虚拟现实与认知功能的观点。例如，想象自己在游戏中扮演一位神秘谋杀案的调查员，你可以漫步在豪宅周围、检查物体下面和后面、询问每一位角色(与他们说话)事发当时在哪里以及在做什么，并且观察他们的反应，例如他们环顾四周的眼神或抿嘴唇等等。

或许更令人兴奋的是增强实境技术，藉由计算机产生的感官输入，如声音、视频、文本、图形和/或GPS数据，增强(或补强)了实体、现实世界环境的直接或间接视图。例如，Magic Leap技术。

增强现实可支持娱乐应用，最佳写照就是《精灵宝可梦》(Pokemon GO)的蔚为风潮。在2016年夏天发布的Pokemon GO很快地袭卷全世界，成为一种全球现象，同时也是2016年最具吸引力以及最有利润的行动应用程序(App)，在全球创下5亿次的下载量。

然而，娱乐还只是增强实境应用的冰山一角，你几乎可以在人类生活的各方面发现它的潜在应用。

当增强现实系统结合深度学习系统，并提供认知能力时，事情才真的开始变得令人振奋。例如，您正尝试修复家中的某些东西，增强现实系统除了能指导您的工作程序以外，具认知能力的增强现实系统还可以观察您随手将物品(如螺丝)放在何处，在需要的时候指点您。或者，假设您正在跟试图向你推销商品的人交谈时，增强现实系统将会倾听双方对话，同时观察其非语言的线索，让您随时都能知道他们是说实话还是在说谎。

在2015年时，还有很多人认为上述提到的一些概念是“遥不可及的梦想”。到了2016年，这些技术已经发生在我们的周遭了。我相信在2017年，我们将会看到增强现实、虚拟现实与认知技术以一种令人振奋且意想不到(甚至是令人恐惧)的方式结合，并进而创新更多功能与应用。

编译：Susan Hong

本文授权编译自EE Times，版权所有，谢绝转载

关注最前沿的电子设计资讯，请关注“电子工程专辑微信公众号”。