过去十年,随着移动市场的快速发展,移动设备显示技术也在不断提升,例如颜色校准、全时HDR、护眼显示、高刷新、高分辨率技术等。消费者对内容需求和期望的提升,也促使 游戏开发者努力把桌面级的3A游戏搬到智能手机等移动设备上,在也对移动设备的算力提出了更高的要求。
逐点半导体COO 白农
“可以说,今天移动行业正进入一个全新的创新增长曲线,也就是以内容驱动的渲染算力创新。” 日前,在逐点半导体(Pixelworks)举办的以“超渲力,芯生态”为主题的2023年度视觉处理方案发布会上,逐点半导体COO 白农说到,他认为高端游戏的应用场景,给传统手机系统带来了很多难题,“如果再往前看,网络内容很快也会进入3D化,再加上空间计算和未来AI大模型提供的内容会更加丰富,对系统的要求会更高。”
手游体验要媲美端游,算力是关键
智能手机在过去几年中高速增长,如今在全球范围内已经形成千亿美元的市场规模。而手游在所有游戏类型中也有着50%的市占,是其中最大的类别,从方方面面影响着人们的生活。
数据显示,目前国内手游活跃用户数达6亿,这个庞大的数字在人口占比、年龄分布以及消费能力上都不可忽视。手机游戏甚至在很多场合成为衡量一台智能手机性能的标杆,在一些品牌手机的发布会上经常听到,这款手机运行某款大型沉浸式开放世界游戏时的画质、帧率、稳定地输出时间以及运行时的手机温度,都是如今手机的重要卖点。
手游制作的精品化也是大势所趋,从算力角度对手机CPU和GPU提出了较高的要求,体现在空间分辨率、时间的分辨率上。其中时间分辨率就是帧率,需要更多的细节呈现以及画质调优,近年来包括光线追踪在内的一些高负载技术逐渐得到应用,对渲染算力提出了更高要求。
但在一个系统中,游戏体验的提升永远是一场取舍和博弈。系统算力、功耗、发热和散热能力以及续航能力,如何取舍?“游戏在推高GPU负载时,功耗提高的同时也给散热带来了压力。因为手机在物理尺寸上被限制,所以在发热的情况下,系统会压制GPU算力导致游戏体验下降,最明显的表现就是帧率不稳定。”逐点半导体CEO 熊挺说到,究其原因,是目前手机旗舰芯片和PC独立显卡之间高达24倍的算力差距。
逐点半导体CEO 熊挺
解决算力问题不能单靠工艺演进,要从架构下手
多年来,手机GPU的性能性能提升主要依靠工艺升级,面临着供电、功耗、发热、尺寸、成本以及存储器带宽等方面的限制。而且在如今先进工艺已经来到5纳米,甚至4纳米之后,继续仰仗工艺提升来增强性能的做法来到的瓶颈期。
熊挺认为,要弥补24倍的算力差距,手机显示系统需要在计算架构上做出改变。“我们在3年前率先地提出了系统级的分布式计算概念,简言之就是CPU提供处理,GPU提供少部分渲染结果,主要指基于模型的渲染。输出一个相对低帧率的图像后,再通过逐点半导体的渲染加速引擎做二级处理,也就是基于图像的渲染。”图形渲染具有低功耗、高效率的特质,可以在整体上降低系统功耗。
据他介绍,这两年来已经有不少手机搭载了这种分布式计算系统。通过跟合作伙伴的不断探讨研发,逐点半导体已经提供了包括视觉处理芯片在内的几代渲染加速解决方案,而本次发布会,逐点半导体除了发布新一代的X7 Gen 2视觉处理芯片外,还围绕技术、产品、生态和体验四大模块,分享了如何用技术布局产品、用产品连接生态、用生态赋能体验的思考与实践。
据介绍,X7 Gen 2视觉处理器作为逐点半导体最新游戏视觉处理方案的重要组成部分,基于分布式计算架构打造,并首次引入公司基于高效神经网络算法的AI游戏超分技术,可大幅降低手机GPU的算力负担,显著提升游戏的渲染效率与画面质量,让高负载游戏在移动端轻松实现媲美PC端的高画质效果。
渲染加速给GPU减负
传统的视觉处理模式,依靠应用处理器的特定模块来实现,基于其本身繁重的多线程任务属性以及较为固定的渲染模式,在提升游戏画质与功耗方面的空间相对有限。逐点半导体资深市场总监 房军在接受《电子工程专辑》等媒体采访时表示:“逐点半导体是一家做视频处理、图像处理出身的公司,所以视角跟传统CPU、GPU或视觉处理、应用处理芯片公司不太一样。我们想以一个全新的视角、卸掉之前的包袱,来解决这个问题。”
大约从三年前,逐点半导体开始提出渲染加速的概念。过去图形渲染遵循的基本逻辑是GPU、CPU渲染后的图像,变成了基于像素的图片,再发送到屏幕上。每个像素的处理会涉及到数据量和数据传输,如今随着屏幕分辨率越来越高,随便一张图就是几百万像素,即使GPU有很强的并行运算能力也有压力。
房军表示,现在的图像处理模式明显跟不上市场的需求变化。为了解决发热、掉帧、续航差这些痛点,逐点半导体提出了不同的解决路径,让手机GPU只需渲染少量关键帧和较低分辨率的画面,即可交由逐点半导体视觉处理器进行渲染后处理。
通过分布式计算架构以及AI游戏超分算法,在屏幕上显示媲美PC端的高帧率高分辨率画质,大幅降低手机GPU的算力负担,亦为手机厂商在游戏上引入需要高算力的诸如光追等创新技术带来便利,让用户在较低的功耗下即可享受媲美真实世界的震撼光影效果。
新发布的逐点半导体X7 Gen 2视觉处理器作为公司游戏视觉处理方案的最新实践,也首次引入了三大新技术引擎。
首次引入的自研高效AI游戏超分技术,基于神经网络算法打造,其AI引擎可以通过更高效更智能的方式帮助游戏实现从低分辨率到2K分辨率的画质跃迁。
超低延时MotionEngine™技术可助力游戏实现超越原生帧率至4倍的高帧效果,为低帧游戏带来越级画质,让高帧游戏稳定加倍。
先进的画质引擎进一步提升游戏画面的色彩表现力,为屏幕前的终端用户打造身临其境的HDR画质。
以上三种功能支持同时开启,意味着手机GPU只需要渲染一张相对小的图像,从空间分布内容上看是1/4的渲染工作,而在时间分辨率上却可以用1/4的工作负载,做到4倍的高帧输出。
能耗降低之谜
“节约能耗的秘密就在于采用视觉处理器后,GPU、CPU手机套片只需要渲染1/16的工作。由于渲染本身是高耗能的,通过缩减到1/16,我们节省了大量的功耗。”熊挺说到,以高效的方式,通过渲染加速的形式,把其余像素通过图像渲染的方式预测出来。“所以GPU只负责少量像素的渲染,而我们负责绝大部分像素的渲染。在这种情况下,整体的系统功耗会有明显的下降。”
逐点半导体在现在非常流行的某大型沉浸式游戏上做了一个测试,在1080P分辨率和60帧帧率的情况下,整机功耗可以节省2瓦,这对于手机来说是一个非常大的数字。
此外,相比仅依靠手机GPU进行游戏渲染,采用分布式计算架构及AI算法的逐点半导体X7 Gen 2视觉处理器可在保证游戏高画质输出的前提下大幅降低GPU的渲染负担,提供高质量、高性能、低功耗的图像渲染加速,帮助手机获得高至16倍的渲染能力提升,让消费者可以抛开功耗和画质两难全的顾虑,畅快享受媲美PC端的出色游戏体验。
从芯片到内容的生态已经形成
不同游戏的玩法复杂程度、图像特点有着巨大差异,甚至同一个游戏里的不同场景也有巨大差异,对渲染参数的要求也是大相径庭。为了打造能够真正提升手游体验的视觉处理方案,逐点半导体在开拓更多手机合作伙伴、深入了解各品牌产品的硬件性能之外,也与业内知名的游戏引擎厂商以及游戏内容提供商建立连接。通过为游戏内容开发人员提供手游渲染加速引擎SDK,打通内容渲染到终端显示的视觉处理链路,为他们使用逐点半导体视觉处理器中的各种算法功能提供便利,从而给予游戏制作团队更多的自主权来实现手机端的画质优化,为终端用户在移动端呈现更符合创作者原意的画质效果。
通过渲染加速SDK的方式控制游戏开发,可以在GPU、CPU和渲染加速芯片这三个算力之间自由、灵活地分配算力资源。“换句话说,我们通过渲染加速SDK,把每个游戏的最终用户体验决定权,交还给了游戏开发商。”熊挺表示,“配合X7 Gen 2芯片上的最新AI引擎,通过和游戏厂商的配合,实现定向超分AI模型训练。”
模型训练的结果往往和游戏素材密切相关,逐点半导体通过和游戏开发者直接合作,获取高素质的渲染图片作为训练资源。配合影像超分引擎和神经网络,在低功耗的情况下,可以实现更好的游戏的效果。
目前逐点半导体手游渲染加速引擎SDK已在《航海王热血航线》《晶核》《最佳球会》《女神异闻录:夜幕魅影》《天谕》等手游上完成集成工作,逐点半导体提出的基于游戏生态设计的覆盖内容到终端的图像渲染加速方案也在实践中获得了业内知名游戏厂商的广泛认可。
在手机OEM的覆盖上,房军表示在三年前,逐点半导体第一代支持针对游戏使用场景做渲染加速的X5就已经推出,之后在2021年又推出了X7,“从X5到今天 X7 Gen 2,国内主流的手机厂商一加、OPPO、vivo、vivo旗下的iQOO、荣耀、小米,以及一些小众品牌都采用了我们的视觉处理解决方案。”
游戏开发商怎么看?
对于手机游戏应用,用户不仅要求游戏开发商和手机供应商提供完整的、高画质、高清晰度及高帧率图像,同时还要满足低功耗、低延时的性能要求,因此强悍的渲染能力与符合游戏内容特色的画质调优能力便成为了检验手游体验优秀与否的黄金标准,而这也构成了逐点半导体IRX游戏体验品牌的基础。
逐点半导体全新的IRX游戏体验品牌以公司在移动端沉淀多年的图像渲染与显示技术方案为基础,加以基于游戏特点的针对性调优服务,为不同类型的游戏在移动端提供高性能体验与高画质显示效果。IRX游戏体验品牌是逐点半导体与终端消费建立连接的窗口,其目标旨在向消费者进一步普及优质手游体验的衡量标准以及决定游戏画质优劣的关键维度,助力消费者在购机时做出更加明智的选择。
作为逐点半导体的重要合作伙伴,完美世界游戏受邀参加发布会,并基于与逐点半导体的一系列技术合作,进行了精彩分享。完美世界游戏副总裁徐丹介绍到:“技术作为游戏产品坚固的底座,为上线发行保驾护航。为此,完美世界游戏保持开放的生态合作,从底层的芯片级、终端厂商、到引擎和SDK级的优化,我们技术On-Site立体的全方位支持。”并在会上展示了帧率/交互、画质/效果、以及续航/待机和握持的温控等方面的技术探索。
以完美世界游戏旗下产品《女神异闻录:夜幕魅影》为例,从帧率与交互上,将率先集成渲染加速“运动引擎”,用更低功耗实现更流畅的游戏体验。通过在P5X游戏中集成逐点半导体⼿游渲染加速引擎SDK,打通从内容制作到终端呈现的显示链路,帮助游戏在安卓端跨越性地实现稳定的120帧画质输出,让玩家得到更畅快更真实的游戏体验。
渲染加速“运动引擎”的效果带来的提升是显而易见的,相比原生的60fps,渲染加速120fps可以实现直观的高帧率效果,同时 CPU的负载可以降低19%,GPU的负载降低16%,同时功耗也降低132mW.
通过渲染加速“运动引擎”的帮助,可以看到在稳定帧率的情况下,渲染加速120fps带来了比原生60fps更高的帧率,更低的功耗。
传统的渲染模式对于高负载手游画质的提升存在一定限制,之所以选择逐点半导体的加速渲染功能,徐丹透露其实早在X5处理器推出的时候就开始关注逐点半导体。“经综合比较,逐点半导体的方案相对更适合我们。因为我们会把多帧的图像采集起来,再去重新做一些比如抗锯齿的效果,所以跟逐点的方案正好契合。而其他厂商的方式是基于单一图片的,我们认为逐点这种基于多帧的数据会更准确。”
除了完美世界,国内几大家大型游戏开发公司也都是逐点半导体的合作伙伴,包括网易、朝夕光年等,都已经有产品真实落地。除此之外他们还与望尘科技(GALA Sports)等体育类游戏开发商有合作。
“实际上除了发布会上说的,我们还与多款游戏有合作关系。”房军说到,“每一家游戏大厂下面都会有多个工作室在并行开发多个游戏,所以在未来几乎每个月都会有新的游戏诞生,届时我们都会对外宣布合作。”