前几天vivo召开了X80系列手机发布会——实际上早在4月20日,vivo就和联发科一起举办了一场“双芯影像技术沟通会”。这从去年开始就已经成为vivo的传统了。所谓的“双芯”,主要是指联发科天玑9000 + vivo自研的V1+芯片。
自打手机OEM厂商“自研芯片”大热以来,vivo应用于X70系列手机的V1 ISP芯片就很吸引眼球——且同期ISP(图像处理器,并可能配套AI单元)也成为众多手机厂商自研芯片的起点。V1+即为V1的迭代款。不过这次的V1+应当还是vivo与合作伙伴共同设计完成的,比如vivo仍然不做V1+的流片。去年的V1也是如此。
vivo在本次采访会上再度谈到:“目前vivo自己的资源主要布局在算法、IP转化和芯片架构的设计上,IC线路设计、流片、生产等流程上我们会交托给合作伙伴,双方利用各自的专业和优势,合理分工协作,让我们的产品更加出色。”(所以是做了数字前端?)
vivo在介绍中说,V1+不仅用于视频、照片拍摄之类的影像处理,还能应用于游戏插帧。所以理论上这是一颗ISP+MEMC芯片。具体参数上,V1+芯片配合片上SRAM(部分媒体在报道中提到“等效32MB主机级别SRAM”,猜测“等效”一词可能表明有帧切片一类的方案来提高系统效率),“数据吞吐速度可维持约8GB/s”、“数据吞吐速度理论最高可达约25GB/s”,“能效提高约300%”、“功耗降低约72%”。
只是不知道对比的是谁,具体是怎么比的。ISP配cache(或与其他处理单元共享cache)来降低功耗、提升带宽其实也是这两年的主旋律,不过我们对这几个数字仍然没有太多可横向对比的量级概念。
我们知道,类似天玑9000、骁龙8 Gen 1之类的手机SoC芯片上本身就集成了ISP,而国内的手机OEM厂商却仍旧热衷于自己造单独的ISP芯片。这就让我们十分好奇联发科、高通对此是什么态度,毕竟这两年的手机旗舰SoC本身在ISP上也是发力的重点。比如骁龙8 Gen 1宣传“三核18-bit ISP”,天玑9000则宣传配置包括“3个18bit HDR Fusion ISP”。加上此前海思麒麟9000就已经在大力宣传ISP+NPU融合架构,这两年ISP的内卷程度还真是严重。
不过联发科这次愿意和vivo坐在一起谈“双芯”,还在沟通会后专门召开了一场采访会,就表明起码联发科并不排斥手机厂商自己造ISP芯片。那么抛开自研、国产提振信心,厂商技术积累之类的作用不谈,“双芯”对于体验的价值究竟在有多大,实则才是用户和市场应当关心的话题。
聊聊“双芯”能做什么
现在国产手机OEM厂商发布自研芯片时,真正透露的技术细节少之又少,只会给个大致的概念。所以我们无法很确切地搞明白V1+架构如何、怎么工作的,以及当它与天玑9000一起工作时,具体走的管线是什么样。不过从沟通会和发布会透露的少许信息来看,起码有一个功能是在“双芯”配合时比较出彩的,即游戏。
大致思路是天玑9000的GPU(与CPU)做画面渲染,APU(AI专核)识别游戏场景动态调整资源分配、节约能耗、优化效率,最后画面交给V1+进行游戏画面的插帧,以提升游戏的流畅度。《原神》都能藉由V1+芯片插帧到90fps——插帧自然就意味着很多帧都不是GPU算出来的了。
vivo发言人的说法是:“通过联发科APU的AI运算能力,联动外部多枚处理器协同工作,与GPU共同完成游戏的画面渲染,进而释放GPU的一部分负载;调用自研芯片的硬件级插帧算法,对帧率稳定性进行优化。最终达到性能和功耗平衡的效果。”
这里APU的作用,很像是联发科HyperEngine中的“智能调控引擎”的某种变体,比如HyperEngine基于AI进行VRS(可变速率着色)就能提升帧率、降低功耗。或许联发科和vivo在此有进一步的合作。
不过我们认为,如果游戏AI超分算法解封,则GPU、APU、V1+的协同才算真正的有看点。
在《玩手游为什么需要AI芯片?谈谈AI超分技术在手机上的落地》一文中,我们阐述了当代游戏为了同时兼顾画面的清晰度与流畅度,游戏过程中GPU+AI专核一起工作会成为趋势。这一点在PC游戏上已经开始大范围应用:GPU首先渲染低分辨率的画面,然后通过卷积神经网络和AI专核(如英伟达GPU的tensor core)将低分辨率升格(upscale)为高分辨率。这样一来,GPU的渲染任务就不会那么繁重,与此同时获得的游戏画面也接近其原生高分辨率。英伟达、Intel、微软等都在推进类似的计划。
联发科则是在移动平台推进这种AI超分技术的芯片厂商,天玑9000之上的这一生态应当已经准备就绪。联发科Game AI-SR将GPU与APU进行了结合。而游戏AI超分似乎也是本次vivo X80系列手机的宣传点之一,虽然我们尚未看到对联发科Game AI-SR超分特性专门做出支持的游戏列表。
理想情况下,游戏画面经过天玑9000的GPU渲染+APU分辨率升格之后,交给V1+芯片再进行一次插帧——虽然不清楚具体是何种算法的插帧。理想全过程,应当是GPU先以低分辨率渲染游戏画面(如渲染720p分辨率画面),再由APU对低分辨率画面做升格变为高分辨率(如720p升格为1080p),最后V1+对其做插帧以提升最终呈现到屏幕上的帧率(如《王者荣耀》能以120fps来跑)。就流程来看,也算是帧率、分辨率、功耗兼顾的一套方案了。
当然或许受限于手游超分生态尚不完备,目前APU在游戏过程中做的主要是资源调度的合理化(如早年的GPU Turbo)。这也是采访会上,vivo举的一个应用“双芯”的例子。另外联发科还提到天玑芯片中的MiraVision媒体与显示引擎可针对游戏做画面HDR也能发挥作用,与V1+插帧做协同。
不过从过往游戏画面插帧实现的历史(如iQOO Neo 5,骁龙870+MEMC芯片)来看,游戏插帧方案产生的额外交互延迟是可感知的。从画面开始渲染到最终显示到屏幕上,多出一个流程,多出一部分延迟是意料之中的;芯片之间要交互(且应当需要借助DRAM)还会叠加延迟。不知V1+在这方面是否会有改善。
无论如何,这种提升游戏分辨率、帧率的思路,实则也能够体现计算机科学正在寻求提升GPU图形算力之外的技术,来提升最终的游戏体验。这在学术和产业界都算是大势所趋,毕竟我们说摩尔定律放缓致GPU堆料不再像过去那么容易了,所以从其他角度着手会是更优解。或许将来在流程、算法上乃至芯片形态上都还有进化空间,但这样的思路是有探索价值的。
当然,V1+的主职还是影像处理和增强——在影像处理过程中自然也需要与天玑9000做“双芯”配合。vivo在发布会上主要宣传了夜景视频拍摄、成像色彩、人像画质方面的优势。不过我们认为,照片与视频拍摄方面的优势主要更在于算法;专用ISP硬件的价值则在提高吞吐与算力、提升工作效率和拍摄体验。
只是我们迄今也不怎么清楚在影像处理和增强上,“双芯”究竟具体是怎么分工协作的。现代影像处理通路上,与V1+主要协同的应当就是天玑9000内部的APU;天玑9000自身的ISP可能也会参与一部分工作。这其中还是有挺多门道的,尤其如何减少双方的闲置率等等问题,都需要花时间去研究......
芯片厂商的定制化选项
自研芯片,体现了手机OEM厂商都在积极寻求体验差异化。毕竟现在依旧存活的手机厂商,除了苹果之外,绝大部分都用着类似的硬件和软件。实际上联发科作为手机芯片供应商,本身也在向OEM厂商提供某种程度的定制化服务。vivo的“双芯”也能体现联发科此前预留的定制化解决方案。
其实去年的天玑1200芯片之上就已经有类似的例子了,一加Nord 2采用的芯片名为天玑1200-AI,vivo X70用的芯片则叫做天玑1200-vivo,还有小米11T用了天玑1200-ULTRA——这些尾缀体现的即是手机厂商与联发科的合作,以及芯片定制化操作。
去年的天玑旗舰技术媒体沟通会上,联发科就特别提到了天玑“5G开放架构”。这种开放架构的思路是将“自家软件、硬件引擎开放给客户”。比如说联发科有个AI-Display的能力选项,手机OEM厂商如果期望在画面显示到屏幕的这条显示链路上增加AI节点(通过APU超分后显示画面),联发科就将“显示链路界面”(interface)开放给手机厂商。
在这种开放架构下,芯片厂商和手机厂商会提前很久做沟通。联发科在interface之下进行调校,手机厂商基于interface来开发功能;另外联发科还拉来第三方提供算法、功能,可向手机厂商做开放。
此前联发科在接受采访时说:“以前联发科针对某个功能提供的链路可能是ABCD,四个模块、四个固定的硬件,客户可以调参数。而在客户提出定制化需求后,或许C的位置开放部分代码,客户可以排在C里面去改一些效果,或者插一些东西进去。在天玑开放架构之下,我们开放ABCD四个模块,客户可以用BCAD的方法做排列,甚至可以做AABBC,或者把C换成客户自己的C。”
这席话是否就很好地解释了V1+所处的位置?联发科也在本次采访会上表示:“天玑9000这边提供了天玑开放架构,跟vivo V1+深度整合。”“去年联发科和vivo就针对天玑系列的开放架构有一些合作。天玑开放架构可以让终端或第三方充分发掘天玑旗舰平台的潜力,包括AI拍照、游戏等。不只是接口,未来我们也会跟客户进行协同和深入合作,共同探讨如何打造创新的差异化、个性化的体验。”
具体到天玑9000开放架构,“新增了显示链路屏幕高精度校准的硬件,结合vivo全新开发的校准算法,在显示链路上达成低功耗、超旗舰等级的‘千屏一色’表现。而且我们领先业界,能在不同的亮度下维持一致的色准,这是比较大的突破。”联发科发言人说,“相机方面,我们在录像链路中新增了AI-ISP开放架构接口,让vivo的AI算法可以实现更低功耗、效果更好的一些AI功能。”
vivo发言人在接受采访时则是这么说的:“在合作深度上,我们在天玑9000定义的初期,双方就共同启动了全面的联调工作,树立了天玑9000之王的研发目标,开始了我们从芯片底层到终端应用通过天玑开放架构打造全链路、标杆级的硬件体验。”vivo介绍说双方投入“超过300人的精英团队,超过350天的研发周期,大幅革新了软件通路架构,将V1+和天玑9000调通。”
有关“双芯”合作的一些思考
其实我们获知有关V1+和双芯协作的技术细节还是有限,但从两家企业这两年来给出的有限信息来看,至少能得出两个结论。
第一,摩尔定律放缓,导致“大芯片”的堆料不会再像过去那么容易。像GPU这类很大程度需求堆料来实现性能扩展的处理器,无法像过去那样成倍堆砌晶体管,普遍开始借助其他硬件来实现性能和体验的进步,包括AI技术及更多DSA(domain-specific architecture)硬件单元。
比如说英伟达给自家GPU加了tensor core;Intel GPU架构直接引入XMX矩阵引擎;还有联发科开始在移动平台推广超分技术-利用APU的AI运算能力来提升游戏画面清晰度;vivo作为手机OEM厂商则为实现游戏流畅度的提升,开始在显示管线中加入插帧算法。可见单是GPU的性能进步已经无法完全满足当代图形算力贪婪需求。
第二,手机OEM厂商在相当内卷的环境里都在寻求差异化竞争优势。这种差异化不仅表现在系统层面,还全面扩展到了底层的自研芯片上。于是部分手机OEM厂商选择从难度没那么大的外围芯片着手,ISP是其中一个选择。
而手机芯片供应商,则顺应市场开始为手机厂商提供这方面的适配与服务,甚至可为其引入第三方算法、功能,比如联发科的天玑开放架构即是其中代表。这可能是两者在手机产业价值链上,角色定位发生转变的开端。未知这种竞争是否还将深化,致产业链上,不同角色未来更大程度的角色变化——虽然现在讨论这个问题可能还为时尚早。
最后值得一提的是,即便市面上已经有了不少采用天玑9000芯片的手机,vivo仍然多次表示这次和联发科合作,是期望X80系列手机能够“成为天玑9000之王”,“释放天玑9000最强性能”,以最高安兔兔跑分为佐证——虽然这大概和V1+没有太大关系。vivo在发布会上提到“通过算法调整CPU资源分配,减少发热,解决性能概率性波动问题”,设计“高并发计算模式,解决CPU资源抢占和闲置的问题,优化应用的连续启动速度”,利用“内存资源管理、建立虚拟缓存单元提升数据处理速度,提升使用流畅度”。
vivo说X80之所为没有赶上天玑9000的首发,是因为“对于芯片的精细化打磨”,以及“要让天玑9000更好地适配自研芯片V1+”。并且“双方实现了从底层硬件到软件的多层面联合研发,比如说从性能、AI、影像、游戏、通讯、多媒体等各个领域…”联发科也提到:“…包括性能、功耗、游戏、拍照、视频等体验,都是我们一起完成的优化。”
现在的手机厂商竞争还真是卷:不仅要和芯片厂商深度合作,还要自己造芯片。虽说外围芯片在复杂度上还无法与手机AP SoC相提并论;“双芯”现阶段的价值大概主要体现在对vivo而言的技术储备以及市场宣传的差异化上;不过这是vivo持续积累技术的迈进,也奠定了联发科和vivo探索市场的基础。
在持续不断的进化中,不知明后年后,像vivo这样的厂商有没有机会将“双芯”合作抬升到新的高度。
- 软件差异很难,硬件差异化能让客户一目了然