音频编解码器是现代媒体系统的基础核心之一。没有音频编解码器,就不会有现在的数字广播、流媒体服务及音乐发行。首个主流MPEG音频编解码器是诞生于1998年的mp3,此后的16年间,业界又陆续开发和制定了包括AAC、HE-AAC/HE-AACv2、MPEG Surround、HE-AAC等在内的多个音频编解码器,极大的改变了我们消费媒体的方式。
Fraunhofer IIS亚太区市场及业务拓展总监Toni Fiedler
而这些音频标准的幕后英雄,则是欧洲一家为人类音频和多媒体效果操碎了心的研究机构Fraunhofer IIS。日前,在2016年中国国际信息通信展览会上,他们又展示了能够带来全高清语音通话质量的下一代3GPP VoLTE编解码器EVS,以及为VR设备带来最佳沉浸式声音体验的音频制作工具、Fraunhofer Cingo和MPEG-H等多项技术。
增强型语音服务(EVS)是全新3GPP VoLTE编解码器,由包括Fraunhofer IIS、华为、中兴、爱立信、诺基亚、三星、NTT、Orange、高通等在内的12家企业联合开发。3GPP在2014年9月将EVS技术标准化,此后,EVS成为GSMA SWB VoLTE的指定音频编解码器。EVS主要适用于VoLTE,但也同时适用于VoWiFi和固定网络电话VoIP,由于具备高效的抗干扰防丢包功能,EVS能够在窄带、宽带、超宽带和全带宽条件下为语音通话、背景音以及混合内容带来最佳音质。
得益于支持至多20 kHz的音频带宽,EVS能够为通话者带来诸如面对面沟通般的语音通话质量,其通话效果显著超过普通和高清语音通话。此外,EVS还具备丰富的功能,例如精密的丢帧隐藏机制、通道感知模式以及先进的抖动缓冲管理系统。因此,EVS能够在手机信道拥堵时提供强大的纠错能力。
全球首个支持EVS技术的运营商是T-Mobile US。该运营商于四月初首次发布引进该技术,并为用户提升网络体验的信息。T-Mobile表示,即使通话对方没有使用集成了EVS技术的手机,T-Mobile的EVS手机用户仍能够享受到增强的语音和通话质量,运营商承诺提供在Wi-Fi和LTE网络下的通用交付并且全面改善语音通话的可靠性。
继T-Mobile USA宣布EVS的商用后,日本运营商NTT DoCoMo和德国运营商Vodafone也先后宣布了在其VoLTE服务中采用EVS技术。“EVS所带来语音和背景音质量,显著优于目前中国移动在VoLTE服务中采用的AMR-WB技术,其全高清语音的通话质量可以与当今数字媒体服务相媲美。”根据Fraunhofer IIS音频及多媒体部门市场传播经理Mandy Garcia的介绍,中国移动、电信、联通目前也正在与Fraunhofer IIS进行密切沟通。
而在智能手机与芯片组方面,目前,高通骁龙430,435,617,625,650,652和820已经支持EVS;Intel, CEVA, Cadence, Mediatek即将推出支持EVS的芯片产品。而支持EVS手机设备已经包括乐Max Pro, 小米5, 三星Galaxy S6, S6 edge, S7, S7 edge, Note 5, LG G5, 索尼Xperia X Performance, HTC One M10, HP Elite X3, Vivo Xplay5等。
VR/AR等HMD产品硬件通常由显示屏、处理器、传感器、摄像头、无线连接和存储电池组成。就Oculus Rift和HTC Vive VR这两款产品来说,它们两者的硬件要求是相当类似的:需要在2160x1200分辨率上,始终保持每秒90帧的帧数,无丢帧。这两家制造商建议用户至少使用一张Radeon R9 290显卡或更高性能的GPU搭配至少i5等级CPU以保持上述FPS。
但什么样的技术能够将音乐和电影音效的氛围和震撼体验带给VR用户呢?“这是个好问题。”Fraunhofer IIS亚太区市场及业务拓展总监Toni Fiedler说,目前大量移动和VR设备厂商只关注CPU核数、视频和屏幕分辨率,却对音频效果置若罔闻,结果导致要么无法提供身临其境的环绕声效,要么使用了低质量的扬声器和耳机,从而产生狭隘的立体声音场、差强人意的声音质量、不自然的声音色彩和不足的低音。
Fraunhofer IIS此番为VR设备商带来了完整的端到端VR音频解决方案,包括:内容制作(3D声音捕获工具,电影及广播电视VR)、内容传递(当前的立体声和环绕声解决方案HE-AAC、下一代沉浸式3D音频编解码器MPEG-H)、以及为VR应用带来的沉浸式音频内容还放和渲染解决方案Fraunhofer Cingo。
其中,Cingo技术能够为VR设备和应用带来身临其境的真实感和沉浸式音效,观众凭借耳机并配合头部运动,就可在三维空间中还放3D声音效果。作为一款即用软件,Fraunhofer Cingo目前已在LG 360 VR、Alcatel VISION VR、三星Gear VR/Milk VR/VR Gallery等设备中得到了使用;而MPEG-H音频标准则是Cingo 3D音频还放的最佳拍档,它能够在虚拟环境中使用2D环绕声的传输比特率为移动设备传递沉浸式3D声音。此外,MPEG-H还能够支持声道、音频对象和高阶高保真信号。
为什么沉浸式声音对虚拟现实设备如此重要?“因为音频能够营造出至少50%的虚拟现实体验。”在Toni Fiedler看来,VR设备音视频之间脱节问题非常值得关注—如果声音画面不匹配,那么虚拟效果瞬间消失;反之,如果声音处理得当,用户就能够真正领略身临其境的虚拟现实体验。
“沉浸式声音支持全新的叙述方式,是能够在虚拟环境中引导客户的。”他说,尽管H.265和HE-AAC成为当前主流编解码已是不争的事实,但“我们的眼光还要看的再远一些”,这就是推出MPEG-H标准的初衷。
本文为《电子工程专辑》原创,版权所有,谢绝转载
关注最前沿的电子设计资讯,请关注“电子工程专辑微信公众号”。