近年来,互联网全面承接着人们因出行不便所带来的娱乐生活线上化转移,音乐则是其中重要的一个组成部分。随着移动音频的快速发展,无损音频不再是只限于发烧友群体的稀有体验,开始逐渐走进主流消费者。主动降噪和空间音频两大计算音频王牌特性,已成为消费者购买音频设备的关键因素,然而产品同质化、用户需求高端化、体验精细化——三大趋势成为众多厂商共同面对的问题,底层的技术“破冰”成为创新关键。
如何通过底层技术创新打破僵局,用关键技术解决用户痛点?OPPO给出了答案,他们在12月14日举办的“INNO Days 2022”上正式发布了第二颗自研芯片——马里亚纳® MariSilicon Y,一颗主要用于耳机类产品的蓝牙音频SoC。
OPPO芯片产品高级总监 姜波 在INNO Days 2022上发布OPPO第二颗自研芯片
OPPO首个自研SoC芯片
资料显示,马里亚纳® MariSilicon Y采用的台积电N6RF工艺(6nm射频)从N6工艺延伸而来,是2021年6月才推出的最新工艺。而OPPO在台积电对外发布该工艺前1年就开始与他们合作。
据OPPO芯片产品高级总监 姜波介绍,相比于逻辑芯片工艺已演进至4nm,甚至在加速探索3nm及更先进的工艺。射频芯片的工艺发展相对平缓,直至2021年,射频工艺首次演进至N6节点。“6nm是先进工艺和成熟工艺的分水岭,MariSilicon Y在6nm的基础上,进一步拓展至全球最先进的N6RF射频芯片工艺。目前全球范围内已应用N6RF工艺的只有苹果H2芯片、苹果S8芯片中的GPS模块和OPPO的MariSilicon Y。”
马里亚纳® MariSilicon Y 核心参数
去年OPPO发布的第一颗自研芯片MariSilicon X是协处理器(Companion Chip),需要搭配主平台芯片才能使用,但已经跟一些SoC在用料水平、完整度等方面在同一水准。
这次的MariSilicon Y则是OPPO首个SoC芯片解决方案,可完整实现蓝牙音频设备的所有功能。“这不仅标志着OPPO首次打开了连接芯片设计的新领域,具备了蓝牙连接的软硬件全套能力,也意味着OPPO首次具备计算+连接能力的蓝牙SoC平台设计能力。”姜波说到,更重要的是, MariSilicon Y 帮助OPPO拓宽了以自研芯片为中轴的垂直整合领域,在前一代自研芯片影像整合的基础上,增加了蓝牙连接的整合,为万物互融奠定必备的底层连接能力。
马里亚纳MariSilicon Y DEMO板实拍(摄影:EETC)
作为一颗蓝牙音频SoC,MariSilicon Y有3大关键技术突破:(1)12Mbps全球最快蓝牙速率,突破传统蓝牙连接质量;(2)590 GOPS最强算力NPU,用AI突破传统音频的计算范式;(3)领先2代的N6RF工艺,突破蓝牙音频设备的能效标准,首次将192KHz/24bit无损音频带入蓝牙设备,带来母带级的高品质音质的同时,也提供了更先锋的个性化音频体验。
12Mbps超高速蓝牙意味着什么?
在最新的蓝牙5.3标准中,EDR(Enhanced Data Rate)支持的最大速率为3Mbps。而在真实场景的应用中,因为现实信号环境等复杂因素的影像,理论值最高3Mbps的速率,往往只能发挥一半,也就是1.5Mbps的实际速率。这种量级的速度无法承载无损音频传输的数据量,这就意味着,虽然人们已经可以轻松地通过流媒体在线平台播放高品质的音乐内容,但通过蓝牙的方式进行无线传输依旧存在速度壁垒。而想要听到高品质的音乐,消费者还需要找到有线耳机,甚至外置编解码设备共同实现高品质音乐的收听。
为了解决蓝牙速率不足的核心问题,OPPO MariSilicon Y自研了12Mbps的超高速蓝牙,能够覆盖目前最高规格的192KHz/24bit无损音频的超大数据量。其中,192KHz是芯片支持的最高采样率,表示了每秒对原始信号采样的次数,更大的采样率意味着更多的细节和更高的声音“清晰度”;24bit表示对声音采样的位深,更大的位深代表着声音更大的动态范围。192KHz/24bit是目前主流音乐平台能提供的最高规格。
12Mbps是目前TWS耳机标准蓝牙速率的4倍,和2022年手机通用旗舰芯片的8Mbps蓝牙速率相比,也达到了1.5倍。除了传输192KHz/24bit无损音频的数据量,还有充足的速率冗余可以承载数据重传,系统开销(system overhead),承载信号控制等,实现整体蓝牙连接质量的大幅提升。
URLC:支持192KHz/24bit的编解码技术
如果说,更快的传输速率,代表为音频传输提供一条“快速路”,那么将大体积音频压缩,以更小的体积传输,则进一步提升了无损音频的传输效率。URLC编解码协议,就是OPPO给出的又一个技术解决方案。
市面主流的编解码协议有很多,常见的AAC、LDAC等格式都是有损编码,而无损编码格式中,FLAC的压缩率是70%、ALAC的压缩率也是70%、表现更好一些的L2HC压缩率是60%。在一定程度上,现有的公有无损编解码方案都无法满足无线传输的体积要求,因此需要一个更强压缩能力的方案。
URLC(Ultra-Resolution Lossless Codec)是OPPO定制的音频编解码技术,将无损压缩率首次提升至50%,意味着同样的无损音频内容,URLC可以压缩至更小体积传输。URLC编解码协议配合12Mbps超高速蓝牙的设计,让物理硬件和软件编解码技术真正的合二为一,共同服务于无损音频的传输。
理论需求速率 | 压缩后的实际速率 | |
48KHz/24bit无损音频 | 2.25Mbps | ≈1.1Mbps < 1.5Mbps |
96KHz/24bit无损音频 | 4.5Mbps | ≈2.3Mbps > 1.5Mbps |
192KHz/24bit无损音频 | 9Mbps | ≈4.5Mbps >> 1.5Mbps |
注:无损压缩按照目前最高50%计算。
现实里,复杂的信号环境对于传输本身有很大影响,信号太复杂时,比如手机放在口袋中,蓝牙信号就会不稳定。动态码率则可以有效解决这一问题,根据外界信号干扰变动,实时调整传输速率,做到该快则快,该稳则稳。URLC编解码支持80Kbps~10Mbps动态码率,相比通用方案,有更大的调节区间,这意味着在充满不确定性的外部环境中,MariSilicon Y可以更精细地调节码率,确保音频传输的流畅性,既不会断连和卡顿,也不会大幅伤害音质。
URLC也是目前市面上唯二支持192KHz/24bit的编解码技术,另一个可能是ALAC。而目前主流的LHDC-V,无损编解码最高支持到48KHz/24bit;APTX-Lossless则支持44.1KHz/16bit的无损编解码。姜波表示,“192KHz/24bit无损音频是MariSilicon Y芯片所带来的独享体验,代表目前无线蓝牙耳机中最高规格的音频质量(目前其他蓝牙耳机最高仅支持48/24无损)。”
兼容性方面,MariSilicon Y支持蓝牙5.3和LE Audio的LC3编解码,可以兼容下一代所有支持LE Audio的设备;支持LHDC、LDAC高清编解码,兼容传统OPPO产品和其他品牌产品;兼容传统的SBC和AAC编解码,能够实现对传统蓝牙设备的的全面覆盖。
行业最高算力耳机芯片,可在终端实现声音分离
作为新一代智能化的重要衡量标准,AI能力已在手机中被广泛应用。但相比于发展更快的影像领域,音频领域还在等待AI的浪潮。
目前为止,音频的绝大部分计算处理都是通过DSP(数字信号处理器)完成,包括音乐播放、EQ调整、编解码等。即使是最新的空间音频,也是通过DSP来实现3D空间的渲染,再结合传感器的头部位置数据,实现头转跟随的效果。而主动降噪,则是通过Codec的模拟信号处理,实时监测外界信号并计算出反向声波进行抵消。
但后续当算法的复杂度要求更高,对音频的处理能力要求更高时,单用DSP无法达到较好的效果,DSP加NPU在性能要求较高的领域或将成为主流。谷歌、Meta等全球科技公司和研究机构,都在积极探索AI如何实现下一代的声音体验,OPPO也不例外。
MariSilicon Y作为首个集成NPU单元的蓝牙音频SoC,高性能NPU单元的算力达590 GOPS,集成的高性能DSP算力则为25 GOPS,这也是全行业性能最强的DSP之一(目前全球销量最高的耳机芯片的算力为9 GOPS)。
据姜波介绍,590 GOPS高性能NPU具备以下三大优势:
- 能效高:相比于传统DSP单元,NPU在运行AI算法时更加高效,实现事倍功半的效果。
- 独立算力:独立的NPU设计,可以不依赖手机算力。计算能够实时在音频设备内的完成,降低因数据在耳机与手机之间传输所造成的延迟。
- 兼容性高:590 GOPS的高算力,能够面向未来快速发展的AI音频应用持续提供充足的支持。能够持续提供可升级的功能。
MariSilicon Y还首次在音频端侧实现了声音分离技术,该技术可以从一段完整的音频数据中,识别和分离人声或其他特定乐器的声音。目前最多可以分离生成四条独立的音轨——人声、鼓声、贝斯、其他,传统上需要在云端或多轨音频工程文件才能实现的事,现在AI可以针对任意一首普通的音乐文件轻松完成。
姜波表示,自定义全景声和万能全景声只是MariSilicon Y对NPU和声音分离技术结合的第一次尝试,未来还有更多空间可以探索。比如利用声音分离技术,提取人声和噪音,实现更加纯净的通话降噪效果;又如,利用声音分离技术对老电视剧的人物对话进行增强;或者是利用这一技术实现更加随时随地的卡拉OK体验。
自研更贵,为何不用第三方芯片?
据悉,此前的MariSilicon X已在Find X5、Reno8、Reno9上商用,达到了千万级出货量,从总线架构到完整系统的设计、芯片的实现、前端、后端整个流程做下来,为OPPO芯片团队积累了不少经验。而MariSilicon Y则是OPPO首次挑战射频芯片设计的代表作,与侧重影像的NPU不同,音频NPU较侧重时域处理和内存设计。
据姜波透露,MariSilicon Y每一次流片的成本都非常昂贵,无论是投入成本还是市场ROI,从商业角度上看都是非常不划算的。采用第三方方案可以更节约成本,那OPPO为何要自研这样一颗芯片?
姜波表示,OPPO认为端对端的连接技术,是硬件能力中特别重要的基础性技术,未来一定会在短距通信、端到端的体验上做很多探索和改进。“这颗芯片虽然尺寸小,但是我们第一次在端到端,通过私有协议实现了连接。”其次,N6RF代表的连接能力和先进射频工艺具备一定的超前性,并且蓝牙音频类芯片的迭代不像手机处理器那么快,两年后MariSilicon Y在算力、工艺等方面也能保持一定竞争力。
从与OPPO其他设备或第三方物联网设备在生态上配合的角度来说,MariSilicon Y既可以放在耳机上也可以放在手机上,“如果在手机侧和耳机侧都配置这颗芯片,便具备了端到端传输192KHz/24bit无损音频的能力。而OPPO作为系统厂商,对打通端到端的能力具有天然优势。”姜波说到,系统厂商对用户场景的理解比较深刻,在设计芯片时更清楚为什么要这样做,在做性能取舍时也能清晰地知道优先级。
另外,手机厂商自研芯片不需要像传统芯片厂商那样过多考量成本,甚至可以不计成本地投入技术研发和芯片堆料,为用户创造真正的惊喜和价值。这些自研带来的优势,是无法通过第三方芯片获得的。
从影像到蓝牙音频,下一颗自研芯片会是什么?
射频芯片是芯片设计中的一座大山,被行业公认是最具挑战性的一个领域,要是靠经验摸索去设计,如果没有这样的积累和积淀是很难做得非常好的。因为设计中各种指标的均衡也没有定论,很多指标要求都需要挑战工艺极限,设计创新性电路结构,这极大考验研发设计人员的经验积累。
为端侧产品设计芯片,尤其是手机等移动端SoC,最大的挑战来自能效比。要优化能效比,除了采用更先进的工艺外,芯片架构的PPA(Power Performance Area)设计更重要,需要通过更好的架构来支撑低功耗,有时候甚至需定制要IP进行功耗优化。另一方面,还有工艺和封装的客观限制因素,例如RF CMOS技术中,噪声系数和线性度存在天然短板,只能通过电路结构和无法定量分析的隔离措施来缓解问题,这其中也存在了很多不确定性。
OPPO这次使用的是台积电最新的N6RF射频工艺,给射频晶体管带来了66%的能效提升,晶体管尺寸则减小了33%。对于下一颗自研芯片和后续芯片团队的工作计划,姜波并没有透露太多,但随着经验的不断积累和技术迭代,未来可期。
“我们从做芯片的第一天就做好了打持久战的准备,自研芯片不会轻而易举,也不会无路可走。”姜波说到,OPPO目前已经建立起超过2000人的芯片团队,始终保持着一颗循序渐进的平常心,“OPPO自研芯片并不是要取代谁,初衷和出发点就是要寻找用户价值。一些在通用平台上很难发挥出来的价值诉求,如果可以让自研芯片作为载体,做到垂直整合,体现计算价值,也是非常好的。”
据悉MariSilicon Y目前已经在推进终端的开发,具体上市时间将于后续公布。OPPO的下一颗自研芯片会是什么?欢迎大家在评论区一起猜一猜。
- Oppo走蓝牙HIFI路线无疑是对的,现在高端的HIFI音响不敢买,买了也经常是摆设,因为怕影响到别人