在眼睛之后,耳朵也要进入元宇宙了~

赛博科技 2022-06-16 18:06
提到AR/VR设备你会想到什么?赛博朋克风的画面,还是虚拟与现实叠加带来的科幻感?

当大家的目光仍聚焦于视觉交互层面时,业内一场有关听觉层面的变革已经悄然兴起。

在谈论这场听觉革新之前,我们先来感受一下XR时代的“声临其境”。

注:戴上耳机体验更好哦

这是国内人机交互产品平台公司Rokid近日发布的一组应用于AR眼镜的6DoF空间声场技术Demo视频。

不同于传统双声道、立体音带来的听觉体验,6DoF空间声场技术可以在混合现实中模拟声源与人耳之间因空间位置变化、有无遮挡物等带来的声音强弱与方向的变化,从而让AR眼镜为用户带来更具临场感的听觉体验。

01
什么是6DoF空间声场?

6DoF空间声场其实是声音在三维领域的体现。但这不是简单的通过更多声道让声音更有立体感,而是和视频空间化同步的音频空间化过程。因此包含了两个必备要素——3D音频和头部运动的实时反馈。

首先看6DoF空间声场的第一个必备要素——3D音频。传统的5.1声道可以把声音展现在一个水平面上,声音定位因此具备前后、左右两个维度,这被称为2D音频。当一个音频同时还具有上下维度的时候,这个音频就是3D音频了。

3D音频图示(图源自网络)

6DoF空间声场的第二个必备要素——对头部运动的实时反馈。在现实世界中,当我们的头部发生转动或位移,声源本身的绝对位置不会改变,而声源与头部相对方向会产生变化。

举一个例子:在你前方有把吉他正在弹奏音乐,如果你转向右边,音乐声就会相对地变到你的左边;如果你转向左边,音乐声就会相对地变到你的右边。因此,要在混合现实中实现更接近于现实中的听觉体验,就需要准确定位声源与用户头部之间的空间位置,即实现对用户头部运动的实时追踪。

02



6DoF空间声场的实现需要
软硬件高度协同

要满足6DoF空间声场技术的两个必要元素并非易事,在技术层面,这需要空间引擎(Space Engine)和音频引擎(Audio Engine)高度融合,并充分利用硬件资源。

空间引擎的核心工作是虚实空间融合。引擎预先利用三维重建技术构建地图,建立虚拟世界坐标系,并增加虚拟物体,设置位姿、形状、材质等属性。运行时,通过处理传感器数据得到观察者(如佩戴AR眼镜,观察者就是人的头部位置)的真实空间位姿和本地地图,进而通过地图匹配得到真实空间和虚拟空间的位姿变换,就可以把位姿统一在虚拟世界坐标系里。

根据不同的传感器类型和数量,空间引擎可以获得观察者不同类型的自由度(Degrees of Freedom-DoF)信息,从而为音频引擎提供必要的空间信息。比如人头的自由度分为:既有位移又有旋转的6DoF、只有旋转的3DoF、人头不动的虚拟空间,那对应的音频也就可以分为6DoF空间声场、3DoF空间声场、环绕声。因此,6DoF空间声场技术就需要获得更复杂的人头自由度。

6DoF自由度(图源自网络)

音频引擎的核心工作是对音频信号和 HRTFs(Head Related Tranfer Functions,头相关传递函数,简称头传函数)做卷积,生成双耳音频。HRTFs是在水平角(azimuth)、俯仰角(elevation)和距离(distance)这三个度量维度做坐标采样测量出的卷积核集合,其准确性是6DoF空间声场呈现效果的主导因素。

但目前可商用的HRTFs数据库能达到的精度还未完全与人耳的听辨能力所媲美,更具挑战的是每个人的人体工学参数和心理声学系统都不同,甚至会随着年龄增加而变化。

准确测量每个人的HRTFs参数显然不现实,如何才能低成本地⽣成个性化HRTFs?已经实现6DoF空间声场技术落地的Rokid技术团队给出了一个解决思路,即在考虑端上NPU/GPU等计算性能的情况下,结合深度学习技术,对更精细化的成分做出更精细的生成。

XR设备应用6DoF空间声场需要软硬件高度协同

此外,为了增加遮挡、反射、混响等效果,让6DoF空间声场更具真实感,还需要用到诸如几何声学(Geometric Acoutstics)的光线追踪和波动声学(Wave Acoustics)的球谐函数(Spherical Harmonics)分解等技术。


这对设备的算力有着极高的要求,也会给设备带来更大的功耗负荷,增加设备成本和安全风险。所以在实际应用中,往往需要在球谐函数的阶数、语音质量以及空间精准度之间做相应的妥协与平衡。

除了算法层面,6DoF空间声场技术的应用也要考虑设备的硬件形态。当前的很多音频算法都是基于入耳式或头戴式喇叭,但AR眼镜作为未来用户长期佩戴的可穿戴式设备,如果采用入耳式设计不仅会严重地损伤用户听力,更是违背了AR对物理和数字的融合使命,因此,在保持开放式喇叭设计的同时,如何保障6DoF空间声场的呈现效果和安全性就成为了新的挑战。

目前,Rokid技术团队采取的办法是,通过定向声技术的研究与使用,来解决隐私性问题。

同时,为了让6DoF空间声场的音效更丰富饱满,通过音腔结构的设计、声音频率的修复、根据人耳听觉做声音谐波及混响等方式增强音质,减少音频效果的损失,让用户真正感受到“声临其境”。

03

一场声音革命,正在悄然兴起


6DoF空间声场技术在AR设备上的应用落地,让我们看到了声音在混合现实中的广阔应用空间。

通过6DoF空间声场技术,AR眼镜等设备可以摆脱视场角(FOV)限制,让用户通过声音发现画面之外的内容,以此实现360度范围的内容呈现。

同时,除了视觉层面的交互,6DoF空间声场技术的应用让听觉也成为了新的交互维度。结合6DoF空间声场,用户可以在混合现实中快速准确定位发声物体的方向,清晰区分接收到的声音信息,感受声音距离和位置的变化……

这将让用户在混合现实中获得更加接近现实世界的体验,从而进一步降低混合现实中数字世界和现实世界的割裂感。

6DoF空间声场带来的全新听觉体验正在冲击统领了大半个世纪的传统立体声音,但任何一项新技术的应用和普及都绝非只靠某一团队、某一公司之力,这需要不断降低准入门槛,吸引更多行业力量的加入。

如Rokid就表示将把6DoF空间声场集成到全新升级版的YodaOS-XR操作系统中,作为YodaOS-XR操作系统的基础能力供行业开发者们进行调用。

同时,Rokid还计划推进更多应用于AR眼镜的特殊音效的开发,如环绕与微重低音的高保真音效等,以高效易用的SDK让开发者真正实现即拿即用。

有消息称,Rokid全新升级的YodaOS-XR操作系统或将于今年下半年对外发布,包含诸多自然交互引擎、友好的UI界面、原生XR应用以及应用开发框架等。

届时开发者们能够专注于精品内容的打磨,开发出各类富有想象力的应用和内容,比如XR游戏、XR会议、XR社交、XR影院等,和广大用户携手进入真正的AR世界。

XR时代的终极目标是虚拟世界和物理世界的完美融合,这种融合主要是对人类与外界进行信息交换的一些方式,如触觉、听觉、视觉、嗅觉、味觉等进行模拟和增强。

6DoF空间声场等技术的应用拓宽了XR设备的想象边界,也悄然掀起了一场感知交互革命。我们或许可以预见,在视觉和听觉之后,触觉、嗅觉、味觉等“感官体验”也将在XR时代被重新定义。
评论
  • 村田是目前全球量产硅电容的领先企业,其在2016年收购了法国IPDiA头部硅电容器公司,并于2023年6月宣布投资约100亿日元将硅电容产能提升两倍。以下内容主要来自村田官网信息整理,村田高密度硅电容器采用半导体MOS工艺开发,并使用3D结构来大幅增加电极表面,因此在给定的占位面积内增加了静电容量。村田的硅技术以嵌入非结晶基板的单片结构为基础(单层MIM和多层MIM—MIM是指金属 / 绝缘体/ 金属) 村田硅电容采用先进3D拓扑结构在100um内,使开发的有效静电容量面积相当于80个
    知白 2025-01-07 15:02 75浏览
  • 自动化已成为现代制造业的基石,而驱动隔离器作为关键组件,在提升效率、精度和可靠性方面起到了不可或缺的作用。随着工业技术不断革新,驱动隔离器正助力自动化生产设备适应新兴趋势,并推动行业未来的发展。本文将探讨自动化的核心趋势及驱动隔离器在其中的重要角色。自动化领域的新兴趋势智能工厂的崛起智能工厂已成为自动化生产的新标杆。通过结合物联网(IoT)、人工智能(AI)和机器学习(ML),智能工厂实现了实时监控和动态决策。驱动隔离器在其中至关重要,它确保了传感器、执行器和控制单元之间的信号完整性,同时提供高
    腾恩科技-彭工 2025-01-03 16:28 170浏览
  • 光耦合器,也称为光隔离器,是一种利用光在两个隔离电路之间传输电信号的组件。在医疗领域,确保患者安全和设备可靠性至关重要。在众多有助于医疗设备安全性和效率的组件中,光耦合器起着至关重要的作用。这些紧凑型设备经常被忽视,但对于隔离高压和防止敏感医疗设备中的电气危害却是必不可少的。本文深入探讨了光耦合器的功能、其在医疗应用中的重要性以及其实际使用示例。什么是光耦合器?它通常由以下部分组成:LED(发光二极管):将电信号转换为光。光电探测器(例如光电晶体管):检测光并将其转换回电信号。这种布置确保输入和
    腾恩科技-彭工 2025-01-03 16:27 180浏览
  • 根据环洋市场咨询(Global Info Research)项目团队最新调研,预计2030年全球无人机锂电池产值达到2457百万美元,2024-2030年期间年复合增长率CAGR为9.6%。 无人机锂电池是无人机动力系统中存储并释放能量的部分。无人机使用的动力电池,大多数是锂聚合物电池,相较其他电池,锂聚合物电池具有较高的能量密度,较长寿命,同时也具有良好的放电特性和安全性。 全球无人机锂电池核心厂商有宁德新能源科技、欣旺达、鹏辉能源、深圳格瑞普和EaglePicher等,前五大厂商占有全球
    GIRtina 2025-01-07 11:02 71浏览
  • By Toradex 秦海1). 简介嵌入式平台设备基于Yocto Linux 在开发后期量产前期,为了安全以及提高启动速度等考虑,希望将 ARM 处理器平台的 Debug Console 输出关闭,本文就基于 NXP i.MX8MP ARM 处理器平台来演示相关流程。 本文所示例的平台来自于 Toradex Verdin i.MX8MP 嵌入式平台。  2. 准备a). Verdin i.MX8MP ARM核心版配合Dahlia载板并
    hai.qin_651820742 2025-01-07 14:52 45浏览
  • 本文介绍Linux系统更换开机logo方法教程,通用RK3566、RK3568、RK3588、RK3576等开发板,触觉智能RK3562开发板演示,搭载4核A53处理器,主频高达2.0GHz;内置独立1Tops算力NPU,可应用于物联网网关、平板电脑、智能家居、教育电子、工业显示与控制等行业。制作图片开机logo图片制作注意事项(1)图片必须为bmp格式;(2)图片大小不能大于4MB;(3)BMP位深最大是32,建议设置为8;(4)图片名称为logo.bmp和logo_kernel.bmp;开机
    Industio_触觉智能 2025-01-06 10:43 87浏览
  • 大模型的赋能是指利用大型机器学习模型(如深度学习模型)来增强或改进各种应用和服务。这种技术在许多领域都显示出了巨大的潜力,包括但不限于以下几个方面: 1. 企业服务:大模型可以用于构建智能客服系统、知识库问答系统等,提升企业的服务质量和运营效率。 2. 教育服务:在教育领域,大模型被应用于个性化学习、智能辅导、作业批改等,帮助教师减轻工作负担,提高教学质量。 3. 工业智能化:大模型有助于解决工业领域的复杂性和不确定性问题,尽管在认知能力方面尚未完全具备专家级的复杂决策能力。 4. 消费
    丙丁先生 2025-01-07 09:25 80浏览
  • 每日可见的315MHz和433MHz遥控模块,你能分清楚吗?众所周知,一套遥控设备主要由发射部分和接收部分组成,发射器可以将控制者的控制按键经过编码,调制到射频信号上面,然后经天线发射出无线信号。而接收器是将天线接收到的无线信号进行解码,从而得到与控制按键相对应的信号,然后再去控制相应的设备工作。当前,常见的遥控设备主要分为红外遥控与无线电遥控两大类,其主要区别为所采用的载波频率及其应用场景不一致。红外遥控设备所采用的射频信号频率一般为38kHz,通常应用在电视、投影仪等设备中;而无线电遥控设备
    华普微HOPERF 2025-01-06 15:29 127浏览
  • PLC组态方式主要有三种,每种都有其独特的特点和适用场景。下面来简单说说: 1. 硬件组态   定义:硬件组态指的是选择适合的PLC型号、I/O模块、通信模块等硬件组件,并按照实际需求进行连接和配置。    灵活性:这种方式允许用户根据项目需求自由搭配硬件组件,具有较高的灵活性。    成本:可能需要额外的硬件购买成本,适用于对系统性能和扩展性有较高要求的场合。 2. 软件组态   定义:软件组态主要是通过PLC
    丙丁先生 2025-01-06 09:23 85浏览
  • 根据Global Info Research项目团队最新调研,预计2030年全球封闭式电机产值达到1425百万美元,2024-2030年期间年复合增长率CAGR为3.4%。 封闭式电机是一种电动机,其外壳设计为密闭结构,通常用于要求较高的防护等级的应用场合。封闭式电机可以有效防止外部灰尘、水分和其他污染物进入内部,从而保护电机的内部组件,延长其使用寿命。 环洋市场咨询机构出版的调研分析报告【全球封闭式电机行业总体规模、主要厂商及IPO上市调研报告,2025-2031】研究全球封闭式电机总体规
    GIRtina 2025-01-06 11:10 104浏览
  • 在智能家居领域中,Wi-Fi、蓝牙、Zigbee、Thread与Z-Wave等无线通信协议是构建短距物联局域网的关键手段,它们常在实际应用中交叉运用,以满足智能家居生态系统多样化的功能需求。然而,这些协议之间并未遵循统一的互通标准,缺乏直接的互操作性,在进行组网时需要引入额外的网关作为“翻译桥梁”,极大地增加了系统的复杂性。 同时,Apple HomeKit、SamSung SmartThings、Amazon Alexa、Google Home等主流智能家居平台为了提升市占率与消费者
    华普微HOPERF 2025-01-06 17:23 145浏览
  • 这篇内容主要讨论三个基本问题,硅电容是什么,为什么要使用硅电容,如何正确使用硅电容?1.  硅电容是什么首先我们需要了解电容是什么?物理学上电容的概念指的是给定电位差下自由电荷的储藏量,记为C,单位是F,指的是容纳电荷的能力,C=εS/d=ε0εrS/4πkd(真空)=Q/U。百度百科上电容器的概念指的是两个相互靠近的导体,中间夹一层不导电的绝缘介质。通过观察电容本身的定义公式中可以看到,在各个变量中比较能够改变的就是εr,S和d,也就是介质的介电常数,金属板有效相对面积以及距离。当前
    知白 2025-01-06 12:04 173浏览
  • 随着市场需求不断的变化,各行各业对CPU的要求越来越高,特别是近几年流行的 AIOT,为了有更好的用户体验,CPU的算力就要求更高了。今天为大家推荐由米尔基于瑞芯微RK3576处理器推出的MYC-LR3576核心板及开发板。关于RK3576处理器国产CPU,是这些年的骄傲,华为手机全国产化,国人一片呼声,再也不用卡脖子了。RK3576处理器,就是一款由国产是厂商瑞芯微,今年第二季推出的全新通用型的高性能SOC芯片,这款CPU到底有多么的高性能,下面看看它的几个特性:8核心6 TOPS超强算力双千
    米尔电子嵌入式 2025-01-03 17:04 55浏览
  •     为控制片内设备并且查询其工作状态,MCU内部总是有一组特殊功能寄存器(SFR,Special Function Register)。    使用Eclipse环境调试MCU程序时,可以利用 Peripheral Registers Viewer来查看SFR。这个小工具是怎样知道某个型号的MCU有怎样的寄存器定义呢?它使用一种描述性的文本文件——SVD文件。这个文件存储在下面红色字体的路径下。    例:南京沁恒  &n
    电子知识打边炉 2025-01-04 20:04 100浏览
  • 彼得·德鲁克被誉为“现代管理学之父”,他的管理思想影响了无数企业和管理者。然而,关于他的书籍分类,一种流行的说法令人感到困惑:德鲁克一生写了39本书,其中15本是关于管理的,而其中“专门写工商企业或为企业管理者写的”只有两本——《为成果而管理》和《创新与企业家精神》。这样的表述广为流传,但深入探讨后却发现并不完全准确。让我们一起重新审视这一说法,解析其中的矛盾与根源,进而重新认识德鲁克的管理思想及其著作的真正价值。从《创新与企业家精神》看德鲁克的视角《创新与企业家精神》通常被认为是一本专为企业管
    优思学院 2025-01-06 12:03 119浏览
我要评论
0
点击右上角,分享到朋友圈 我知道啦
请使用浏览器分享功能 我知道啦