增强现实/虚拟现实 (AR/VR)技术的应用早在几十年前就已经出现了,只是当时主要应用在一些极为有限的领域,直到近几年来,由于传感器、处理器、传输和显示等硬件技术的突破,它们的潜力才进一步被释放,并为广大消费者所知。特别是Google眼镜(Google Glass)、Facebook Oculus Go、HTC VIVE Focus,以及微软(Microsoft) HoloLens等专为AR/VR体验而打造且无需依赖智能手机或PC的独立式终端设备出现,再次点燃市场对AR/VR的热情。
AR/VR市场前景看俏
AR/VR被誉为下一个兆级市场。尽管历经2017年的市场低迷,在新的技术、内容与产品带动下,IDC预估今年AR/VR的销售量可望达到1,240万台,到2022年的5年间年复合成长率(CAGR)超过52%,AR/VR市场前景乐观。
2017~2022年AR/VR头戴式设备出货量预估。(数据源:工研院产业科技国际策略发展所)
随着Oculus Go、VIVE Pro、Lenovo Mirage Solo with Daydream,以及Magic Leap One MR等全新VR设备陆续登场,工研院产业科技国际策略发展所(原IEK)预估今年VR设备将成长44%,达到1,120万台的出货量。这一成长动能主要来自一体机的需求扩散,特别是低价的Oculus Go一体机上市明显带动市场成长。
至于AR市场,2017年AR出货约为60万台,估计今年将成长1倍达到120万台,并在关键新产品带动下于2022年急速拉高到2,630万台的规模。
相较于VR,AR市场迟迟未见数量的蓬勃成长。工研院产业科技国际策略发展所分师吕佩如指出,主要原因在于AR的定价仍相当高,目前平均单价约在770美元左右。“价格是AR产品难以导入消费市场的主要障碍。”因此,目前AR主要锁定在企业客户为主,瞄准工厂维修检测、教育训练等应用。
不过,从另一个角度来看,AR的整体营收效益其实较VR更好。吕佩如解释,这是因为AR锁定的软件应用收费都较VR更高,所以即使硬件出货量较VR少,但预估在2019年后AR的整体营收效益可能超越VR。
AR与VR的融合
AR技术与VR技术密切相关,是互补但独立的两种技术。AR将数字信息投射到实体世界,VR将现实替换为计算机仿真而来的环境。VR技术大多应用在娱乐领域,例如视频和游戏等,但也能仿真实体环境用于训练或模拟等用途,尤其是在远程或危险的环境中。例如近年来各大厂商大力投入的无人驾驶领域,就是利用VR技术的仿真功能来验证其无人驾驶算法。
最为我们熟知的AR应用要算是任天堂(Nintendo)推出的《精灵宝可梦》(Pokémon GO)手机游戏,让沉寂多年的AR技术再次登上舞台,且风靡一时。当然,AR的应用并不仅止于此,例如针对汽车应用,AR抬头显示器(HUD)能将导航、碰撞预警等信息投射到驾驶人的视野(FOV);而在工厂的技术培训时,设备装配信息和保养指令透过穿戴式AR设备直接投射到操作人员眼前。
尽管去年以来AR/VR应用在消费市场的热度有些下降,但其于工业领域的应用开始被广泛接受。例如波音(Boeing)在复杂的飞机制造流程中导入AR培训后,大幅提升了生产效率。在该公司进行的一项研究中,AR用来引导学员组装机翼部份的30个零件共50道工序。在AR帮助下,学员花费的时间比使用普通2D图纸档缩短了35%。缺乏经验或入门级学员初次完成装配任务的正确率提高了90%。
由于AR设备还能将现场人员的视野传输给远程的专家,从而提供实时现场指导。这让远程手术和远程维修等工作变得更加方便和简单,同时也能为公司节约成本。
还由于传感器技术的进步,AR/VR设备与人的交互方式也发生了颠覆式的革新。AR头戴式设备可以直接将虚拟控制面板投射到产品上,用户只需要用手势和声音指令就能实现控制。不久的将来,佩戴智能眼镜的用户,或许只需要透过眼神和手势就能直接启动产品的虚拟用户接口(UI),并进行操作。例如,一位佩戴智慧眼镜的工人可以同时观察多台设备的表现,并进行调整,而不必接触到任何一台设备。
而AR与VR的结合,更能让用户获得跨越距离、穿越时间(再现历史或模拟未来),以及摆脱比例尺的能力(可对环境进行放大和缩小)。更重要的是,两者结合能将团队放到同一个虚拟的空间下,从而提高团队合作、沟通理解和决策水平。
例如福特(Ford)就利用VR技术建立了一个虚拟的实验工厂,不同地区的工程师可以凭借全息车辆原型进行实时合作。参与者不但可以对3D全息影像进行360°的观察,还可以走进1:1大小的全息车体中,从而完善车辆的设计细节。
AR/VR影响未来企业策略
随着AR/VR技术的进一步普及,人们和智能互连产品的交互方式变得越来越丰富,这同时也为企业带来新的策略问题。特别是一些制造业,由于AR/VR能够提升效率以及降低成本,企业在考虑未来策略时,不可避免地要将AR/VR考虑在内。
而且现在已经有不少企业开始行动了,例如软件公司PTC在其工业应用平台ThingWorx上加入了Vuforia Studio工具,协助工业客户快速创建可扩展的AR体验。
藉由内建的手势和语音命令支持, Vuforia Studio可让工业客户充份发挥HoloLens的潜力。不过目前HoloLens的传感器和处理能力还有限,据传下一代HoloLens将会增加专用的AR处理器和更加先进的传感器,届时将更进一步扩展其工业应用。
当然企业是否应该采用AR/VR技术,还取决于AR/VR技术能否增加其产品的差异性,减省的成本是否明显等因素。至于采用AR/VR的方式,可以是自己投入技术研究,也可以直接外包给一些专业的厂商来做。
AR/VR面临哪些挑战?
尽管AR和VR市场前景光明,但不可否认,目前的AR/VR终端设备还有很多不足之处。从应用市场来看,吕佩如认为,AR/VR设备自推出后一直仅限于作为一种‘nice to have’的产品,很难达到‘must have’的条件。
吕佩如说:“未来,AR/VR设备必须导入一些让消费者愿意掏钱买单的关键应用,例如进入B2B或B2C市场,创造不同的体验与使用价值,才可能带来转型的效益。另一方面还可以针对既有的产业进行转型,例如用于工厂提升效益以及节能成本,才有助于使其成为‘must have’。”目前许多AR/VR首先导入商用正是因为在工厂、企业较易于找到‘must have’的应用,而这正是消费市场欠缺的条件。
从投资的角度来看,近两年来由于人工智能(AI)投资较被看好,使得今年AR/VR的投资相对趋缓,从而让针对AR/VR进行开发的新创公司在投资方面相对面临瓶颈。
目前,AR/VR的一些体验主要来自于智能手机和PC,但功能性和体验丰富性都还十分有限,而极致质量的AR和VR体验需要价格昂贵的PC支持。吕佩如指出,根据许多消费者调查认为,VR主要问题在于使用者体验不佳,例如头显设备太笨重、操作接口不友善,以及设定费时、手势或游戏杆设计在操作上不够流畅,这些都影响了消费者的体验。
此外在内容供应上,早期采用者也反应目前的内容在画质上的表现不够,锁定影视娱乐的主题也显示广度不足。
在Imagination Technologies PowerVR产品管理与技术营销资深总监Kristof Beets看来,AR需要解决的主要问题是能效处理和现实技术,以及为广泛用户提供其可接受的合理化外形所带来的复杂性;VR和混合实境(MR)还需要在执行效率方面有进一步的提升才能得以推行。
但他坦诚,这些问题都需要时间来解决,不太可能在未来一两年内解决。
高通技术(Qualcomm Technologies)资深产品市场经理郭鹏说:“对于AR、VR及其二者融合而来的‘混合实境’,我们统称为‘延展实境’(XR)。这两种技术在底层应用技术和上层软件算法上有很多相似相通之处。XR可以扩展应用到很多不同的领域,如军事、教育、医疗、工业与制造业、工程、零售、市场营销等。”
他坚定地认为XR会是下一个行动运算平台。有朝一日将会透过日常使用的眼镜,取代智能手机和PC。不过他坦承,“这一变革可能需要几年甚至几十年的不断演进。”
半导体厂商的AR/VR布局
尽管AR/VR终端在市场上还处于初期发展阶段,但是,郭鹏说:“我们已经在独立式AR/VR终端看到了两个非常清晰的细分类别:顶级质量与高阶质量。”
顶级质量的AR/VR终端能带来更具沉浸式、更有互动性的体验,可以支持六自由度(6DoF)追踪。
高阶质量的AR/VR终端虽然沉浸式体验相对较弱,但依然可以支持以视频为核心需求的观看体验和相对简单的游戏体验。同时,高阶质量的AR/VR价格也相对更低一些,能够满足OEM不同的市场定位需求。例如,“针对高阶质量的独立式AR/VR细分市场,高通推出全新的XR专用平台——骁龙(Snapdragon) XR1,”郭鹏并强调其核心源于骁龙平台、XR SDK、HMD加速器计划,以及支持生态系统与平台的策略,积极切进入AR/VR领域。
Imagination则在与Google的合作过程中对AR有了广泛的了解,并获得了大量经验。Google Glass计划使用其旧版本PowerVR GPU技术,而其最新的PowerVR GPU更适合AR,而且功耗更低,特别是结合了工艺技术的进展。Beets强调:“低功耗、符合标准的绘图处理技术对AR的成功至关重要。”
还需要哪些技术支持?
目前市场上出现的一些新技术,例如5G、人工智能,以及新型感测技术,对于AR/VR也起了很大的推波助澜作用。
美商亚德诺半导体(Analog Devices;ADI)微机电系统(MEMS)市场经理吴彦彬认为,未来的5G技术可以确保更高分辨率的视频和音频内容的传输,对AR/VR来说也至关重要。郭鹏对此看法表示认同,“目前,我们看到几乎所有XR终端都基于Wi-Fi,原因是现在绝大多数应用都是在室内,因此,VR的主要使用场景都在室内,至于AR方面也看到一些企业级应用涌现,如头显类设备等,使用场景也在室内。随着更多的应用发展,这些终端将扩展到户外,同时,这一趋势还将与5G网络的商用相呼应。因此,5G将会影响AR/VR终端走向主流市场,届时这些XR终端设备将更进一步普及于日常生活中。5G实现的高带宽、低延迟和更大网络容量,可望带动XR变得无处不在。”
高通持续推动移动XR的迭代发展。郭鹏认为,要想在XR中应用智能手机的领先技术,必须关注三个重要部份:直观互动、视觉与音频。
在直观互动方面,以手势追踪为例,不仅是简单的抓、握、滑动,未来可能需要精准识别10只手指,甚至是在握手状态时也能识别每只手指的位置,区分出左右手。“这是我们认为未来手势追踪可能实现的一种场景。”他表示,“现在,透过VR一体机的一个或两个摄像头来追踪用户的手势,经过一些人工智能算法,识别每只手指以及左右手。这个产品最早期的形态是一个巨大的模块,可以贴在不同的设备上,例如贴在计算机前,从用户对面识别手势。但是在VR一体机上,有两个摄像头观察外界、支持六自由度,或是调用两个摄像头同时观察双手。透过使用两个摄像头同时支持多任务进行,节省了硬件成本、功耗和体积。我们的计划是,进一步将手势追踪整合到专用芯片,并且把产品的性能和功耗做得更好。”
在视觉方面,VR与手机不同,100的FOV使得任何细节都放大了许多,在屏幕刷新上只要画面掉了一、两格,用户的感受就非常明显。另外,分辨率也是一个很高要求的指标,2K显示器还无法套用VR,会有闸格感。因此,郭鹏分析说:“这更需要在显示和图像性能上做到最佳状态,同时保持良好的功耗表现。从最早期支援4K 30格(fps)到4K 60fps的解码,到现在支持4K Ultra HD Premium (HD R 10)。这需要GPU和显示器实现非常大的性能提升,在单位时间内处理的像素越多,代表解码能力越强。除了译码之外,还需要显示的支持,有了2K、4K解码之后,还同时需要支持2K、4K的屏幕才能将画面很好地呈现出来。”
在音频方面,语音UI支持互动非常自然的特点。如何将人们说的话实时转换成机器所需的内容,这就要求在语音识别上有很好的底层技术,能把语音转化为软件算法所需的高质量信息。从立体声到手机、电视双声道,再到3.1、5.1的立体声,最后升级为全景环绕的3D音讯,这些对VR都是必不可少的。
吴彦彬认为,除了这些技术,还需要飞行时间(ToF)等相关感测技术的支持,他同时感到庆幸,目前这类技术已经成熟,很快就能应用在AR/VR设备中。
在结构光和ToF等3D视觉方面,中国大陆的企业做得也相当不错,比如奥比中光、华捷艾米等。华捷艾米的3D视觉芯片和3D识别算法都是特意为AR/VR而准备的,其在人体行为识别方面已经研究多年,特别是其3D骨架算法和人体行为识别算法可解决AR/VR的互动问题。
台湾地区抢攻AR/VR新蓝海
面对这一波袭卷而来的庞大AR/VR商机,台湾地区业者如何布局?吕佩如认为,“从前端的消费电子产业链引入新兴的AR/VR甚至MR,台湾地区的产业供应链相对完整,从芯片、镜头、屏幕到代工制造与品牌营销都有。”不过,在一些特定的关键技术,如MR显示技术或手势开发,以及AR/VR品牌的主导性方面相对上较具挑战性。
VR方面,台湾地区主要先从PC与手机业者投入头显设备,例如HTC。而除了提升硬件,HTC也积极开发其生态圈,藉由提供VIVE WAVE/VIVEPORT给开发商开发App以扩展其平台,突破内容不足的障碍。AR方面则像是一开始定位于代工的佐臻,除了转型深耕智能眼镜硬件,近来也投入加值应用服务。此外,台湾地区还有许多小型新创公司着眼于开发娱乐影音或360度环景内容等软件。
HTC提供VIVE WAVE/VIVEPORT平台,透过开发人员打造App并拓展其生态系统。(图片来源:HTC)
随着AR/VR结合智能工厂的应用崛起,因应半导体厂希望透过AR眼镜进行维修检测的辅助需求,除了像友嘉集团和HTC合作VR/AR虚拟工具机,还有一些小型新创的系统整合商针对既定商机投入相关资源。
不过,台湾业者也面对一些特定的关键技术挑战,如MR显示技术或手势开发。此外,在AR/VR平台的主导性方面也仍不足。吕佩如建议,针对光场等显示技术的开发,台湾业者可以透过供应链上游整合的方式提高技术水平;针对手势开发则需要产官学的整合,以补强业界的技术不足之处。
特别是VR,吕佩如说:“目前使用者希望它能达到十分拟真、直觉的反应,这需要使用者以较直观的眼动、手势来操作。许多市场分析也认为这是未来VR走入完全沉浸虚拟的条件。因此在手势开发上还需要业界与学界之间更多的链接,共同投入开发。”
至于AR/VR平台主导性的挑战,吕佩如则建议台湾业者可以采取策略合作的角度切入。
总结
随着这些基础硬件和算法等技术持续进步,AR/VR在未来某一天也许会取代智能手机,成为下一个杀手级移动计算平台。而且它不仅在消费市场上崭露头角,还将在工业领域大显身手。届时将不仅仅改变我们的日常生活互动,还可能影响工业企业的未来策略。当然,这些转变并不至于马上出现,而是在未来数年内逐渐实现——每一年都会看到AR/VR终端的进展,更高分辨率的显示器、效能更升级的处理器,以及更强大的连接性能……最终,我们将会看到这一转变的真正实现。
本文为《电子工程专辑》十月刊杂志文章,版权所有,谢绝转载
关注最前沿的电子设计资讯,请关注“电子工程专辑微信公众号”