今年是Imagination的PowerVR架构诞生30周年——我们最近特别采访了Imagination,以期了解这段颇具传奇色彩的架构历史。Imagination告诉我们1992年PowerVR刚刚诞生之时,公司还叫作VideoLogic——这家公司创立至今已经有37年的历史了。
翻看GPU发展史,Imagination还真是参与到了此前图形加速卡众神厮杀、生态你追我赶的时代。Imagination公司的元老之一Simon Fenney(现在是Imagination的Research Fellow)前些年还在博客上回顾了1997年Imagination的PowerVR,与S3 Virge、ATI Rage,还有和3dfx之间的比较。这些名字都算相当久远了吧。
Imagination也将参与即将于11月10日在深圳大中华交易广场举办的IIC深圳(2022国际集成电路展览会暨研讨会)。届时Imagination中国区董事长白农将在同期举办的全球CEO峰会上发表主题演讲。IIC是由Aspencore主办的电子产业权威交流平台。展会设置IC设计专区、分销与供应链专区、综合展区等,集合了国际国内最顶尖的电子科技产业领袖。同期还将举办全球CEO峰会、全球分销与供应链领袖峰会、国际工业4.0 技术与应用论坛及第24届高效电源管理及功率器件论坛。点击这里报名参会。
借着PowerVR 30周年之际,我们来聊聊PowerVR这些年的发展——多少也能从中窥见GPU的历史之路。尤其Imagination格外拿手的TBDR(分块延迟渲染),到现在应用于移动平台的Photon光追架构,也算是GPU发展史的一支了。本系列文章会分成上下两篇,上篇简单回顾PowerVR这30年走过的历史,下篇则将从技术角度来剖析Imagination引以为傲的TBDR架构。
游戏机,PowerVR声名鹊起的最初
现在大部分同学了解Imagination PowerVR应该是基于其在移动市场的表现。不过作为一个80年代就建立的企业,Imagination在建立后不久,图形技术和市场本身也开始了井喷式的发展。最初VideoLogic在图形、声音加速、家庭音频系统、视频捕捉、视频会议系统上都有涉足。不过1992年,公司开启了一个新项目,也就是后来的PowerVR。
Simon Fenney也是这一时期加入的公司。他在博客中说,1992年公司开启了一个名为Trident Project的项目。根据Simon的回忆,Martin Ashton、Tony McClaren和他三人,促成了现在PowerVR GPU的TBDR(Tile-Based Deferred Rendering)架构雏形。
Imagination在采访中说:“第一代设备(从1992-1993年的原型到1995年左右推出的PCX1和PCX2)使用较低级别的基元(primitive),也就是无限平面(infinite plane)来进行物体建模。”“尽管无限平面基元的效率可能不错,但问题在于业界只使用三角形(或四边形)。”所以“第二代设备ARC1、CLX2(用于世嘉Dreamcast)和‘Neon 250’开始使用三角形渲染。”...“后来的几代产品增加了着色器(shader)并且可以在移动设备上进行硬件图形处理。但所有这几代产品的共同点是底层TBDR技术。”
Trident FPGA板,来源:Imagination Blog
最初的FPGA原型板,被Imagination称作是首个基于TBDR的板。这块板曾亮相于SIGGRAPH 93。不过Simon说,最初带着这块板四处去宣传的过程并不算顺利,花了好大的功夫才有机会向潜在客户做演示。起初一行人将产品定位于当时很火的街机系统。
当时VideoLogic选择了与NEC合作,最初就有了技术授权方面的动作。PowerVR Series 1的目标市场就是街机系统。在原型产品Midas 1和2之后,真正出现在市场上的是Midas 3。
从介绍来看,Midas 3至少包含了ISP(Image Synthesis Processor)和TSP(Texture and Shading Processor)以及一颗桥接芯片。ISP可以弹性扩展,街机可以用2-4个ISP。这里可以看出当年的图形加速卡和现在的GPU还是有很大差别的。Midas 3也应用到了PC设备上,出现在了彼时康柏(Compaq)的机器里。
PowerVR PCX1
Imagination所说的PCX1实际上也就是Midas 4:基本是将3颗Midas 3芯片放到1颗芯片中(如图),基于0.5μm工艺,PCI接口、64bit 4MB显存、核心频率60MHz。据说当年康柏希望只用1MB或2MB的RAM,VideoLogic则努力说服康柏4MB才是PCX1的最佳搭配。
后续的PCX2工艺提升到了0.35μm;其中新增了双线性过滤(bilinear filtering),简化了驱动工作,同时核心频率进一步增加。据说当时采用PCX2芯片的Apocalypse 3DX显卡在性能上超越了彼时的Voodoo。当时有报道说PowerVR Series 1的市场份额曾达到仅次于3dfx Voodoo的程度。
初期真正令PowerVR名声大噪的恐怕是PowerVR Series 2进入到了世嘉的Dreamcast游戏机中(这段历史还有3dfx、英伟达参与的爱恨情仇,有兴趣的同学一定要去查一查)——也就是土星机的后继者,发布于1998年底;同期PowerVR Series 2也进入到了世嘉Naomi街机中。
这代产品也是和NEC合作的。凭借着这代产品,到1999年NEC光是出货给世嘉的PowerVR Series 2芯片就超过了100万。从可循的资料来看,DC游戏机的出货量超过了1000万台。
改名Imagination,与移动设备图形计算现代化
对前期的VideoLogic而言,1999 年PowerVR还迎来了ST(意法半导体)这个大客户,当时ST面向PC的图形与视频加速卡就是采用Imagination的PowerVR Series 3,代号叫Kryo。这代产品支持DX6、EMBM(environment bump map),只不过并不支持当时崛起的硬件T&L(tranform, clipping, and lighting)。值得一提的是,得益于TBDR架构,Kyro的核心面积很小、发热也低,所用晶体管数量远低于同期竞品。
另外这一年的一个大事件是,公司正式改名为Imagination Technologies:也不光是改名,在策略上同时转向了专注在IP授权方向。根据Imagination的说法,是要在街机、家用游戏主机、PC等市场之外,持续做扩展,所以选择了将注意力集中到IP授权。
当年的Hercules 3D Prophet 4000XT显卡,基于Kyro芯片
Imagination和ST同类型产品合作还是延续了好些年的。2001年的Kyro II有段时间在欧洲市场被称作MX400杀手。但PowerVR也是直到计划中的Kyro III,也就是基于PowerVR Series 4的显卡,才正式加入了硬件T&L支持;只不过这一时期ST已经决定关闭图形业务了,Kyro III也就未能正式问世。同期的桌面显卡混战局面宣告结束。
不过也是这一时期 - 2001年之后,Imagination在移动、汽车和医疗市场开始有所斩获。PowerVR在移动图形市场大获成功的是PowerVR MBX;MBX以及之后的SGX(Series 5),更是让Imagination在移动市场全面开花。当时这俩架构授权给了包括Intel、德州仪器、三星、NEC、NXP、Freescale、瑞萨、Sunplus在内的多个市场巨擘。
回顾最初进入移动市场,Imagination(90年代后期)认为当时移动设备的图形处理能力都非常弱,PowerVR一定能够凭借低功耗设计,在移动视觉应用上掀起新的浪潮。PowerVR MBX除了TBDR架构之外,也开始采用现在很多人应该都知道的PVRTC纹理压缩技术——现在类似的技术似乎稀松平常了,在当时却相当具有开创性。
实际在图形管线的数据压缩上,我们在之前的解析文章里也提到过Imagination目前的技术方案。作为节约带宽、提升效率的重要技术组成,Imagination此前还将渲染过程中几乎所有数据,都做了压缩。这其中除了PVRTC纹理压缩(还有ASTC等)以外,还包括图像压缩IMGIC(接替了此前的PVRIC),和几何压缩PVRGC。当然这就是后话了,尤其IMGIC是近代架构更新中才引入的。
2005年PowerVR SGX架构问世,首个SGX核心面向的就是主流、高性能移动图形计算,特性方面能够全面满足OpenGL ES 2.0 shader需求;这代产品也随之引入了PowerVR视频编解码IP。
于是这一时期前后,Imagination GPU相继出现在了苹果iPhone、诺基亚N96、索爱P1、摩托罗拉刀锋等明星手机产品中。另外对Imagination而言,颇具标志性意义的一件事情也在于到2012年,SGX架构(Series 5XT)进驻索尼游戏掌机PS Vita——算是睽违多年的市场,Imagination对此还是颇为津津乐道的。
另外2007年iPhone开始采用PowerVR架构GPU,不仅是对Imagination,对整个移动图形技术市场而言都具备相当价值——开发者生态自此开始大举建立,手机上的3D游戏逐步崛起。与此同时,2014年SGX架构中的Series 5XE开始下探更低功耗的产品,包括可穿戴、IoT和嵌入式应用,甚至还有类似打印机这样的企业级设备。
要说移动设备GPU的技术真正走入大众视野,而不仅限在被一小撮工程师人群所知,应该是2014年Imagination主动找到了媒体,透露了有关其PowerVR Rogue架构的部分技术细节,虽然大部分内容并未阐述详细,却也是普罗大众真正首次了解到原来移动GPU架构是长这样的。
当时Imagination愿意对外公开这些资料,也是因为那一时期移动GPU陷入到“核心数”竞争的怪圈,而Imagination的GPU架构决定了PowerVR在核心数方面并不占优,因此需要向市场科普GPU“核心”究竟是什么的问题。不过不可否认的是,也是从Imagination的这一市场动作开始,其他移动GPU竞争对手也纷纷以更开放的姿态公布属于自己的架构技术与特性。
也是从PowerVR Rogue,也就是Series 6(也包含后续的Series 7,和部分Series 8/9)开始,业界开始留意到PowerVR相较同期的其他移动领域竞争对手领先几个身位的性能和能效表现。这一时期正值iPhone 6热卖,加上iPad Air 2的图形性能,PowerVR Rogue还是惊艳了不少人的。似乎也是从这代产品开始,架构集齐了PVR3C三重压缩的系统级优化。
后续PowerVR Furian架构发布,这代架构继续提升了性能和性能密度。值得一提的是,PowerVR GPU同期开始把触角伸展到了图形渲染之外——这也是当代GPU厂商普遍会走的路。PowerVR同期借助对于OpenCL、Renderscript、Filterscript等的支持,在CV和AI领域发挥作用。
从Imagination提供的数据来看,2001年采用其PowerVR的产品出货量超过1500万;而到了2008年,其消费产品出货量就突破了1亿;2010年这个数字就再度发展至大约2.5亿,2013年跨过10亿大关。2017年Imagination回顾PowerVR架构25周年还提到,PowerVR产品出货量突破40亿,其市场覆盖了电视、流媒体设备、手机、平板、手表、VR、汽车、游戏、Chromebook等。
进入另一个纪元的PowerVR
从Imagination的角度出发,自公司80年代成立至Furian架构发布,公司层面的各种操作也非常多样,光是技术相关的收购操作就一大堆,包括Ensigma、Cross Products Limited、HelloSoft、Caustic Graphics等等。
另外在股权结构上,东家们也算得上你来我往,比如NEC上世纪曾一度持有Imagination 3.5%的股份;Intel则在2006年前后拿到Imagination约2.9%的股份,2009年Intel最高持有Imagination的股份一度高达16.02%;2008年,苹果买下Imagination约3.6%的股份......
这些企业多少也都与PowerVR架构的发展有一些关系,只是并非本文要探讨的重点。2017年9月,私募基金凯桥资本(Canyon Bridge)宣布收购Imagination。两个月后交易就获得通过,Imagination也从伦敦证券交易所摘牌。Imagination在博文中说,自此以后Imagination的历史翻开了新的篇章。
从技术角度来说,PowerVR的确也是在此以后续写了全新的架构。2019年IMG A-Series架构发布,当时我们还对新架构做了剖析。自IMG A-Series之后的架构惊人之处在于性能的大幅跃进,Imagination说A-Series相比此前的PowerVR Series 9,性能密度至多增长了250%。
这代新架构重新设计了ALU,还有HyperLane虚拟化技术以及AI Synergy。当然不变的传统仍然在于TBDR。似乎随A-Series的发布和性能密度的暴涨,这些也给Imagination带来此间20年的首个桌面级GPU授权客户。而且2020年年初,苹果和Imagination又再度签署了多年的授权协议。这也算是Imagination就企业层面面临一波动荡后的回归。
其实在A-Series架构发布会上,Imagination就预告了B-Series、C-Series的存在和性能提升预期——当时看起来还是挺不可思议的。不过很快Imagination还真是发布了IMG B-Series。其中的BXT基于多核弹性化设计,性能提升最高达到了A-Series的4倍。
Innosilicon Fantasy 1
这一时期的重要事件是,Imagination收获了芯动科技(Innosilicon)这个于国内众所周知的客户,IP应用到了芯动的Fantasy风华显卡产品线。目前桌面级的芯动Fantasy 1风华1号和Fantasy2 风华2号显卡均已供货。Imagination提到该产品系列中的Type-A显卡会采用16GB GDDR6x显存、128bit位宽,基于BXT-32-1024提供5 TFLOPS算力;而Type-B则会采用双芯方案,达成最多2倍的性能。
值得一提的是,B-Series也扩展出了BXS家族。这是面向汽车的IP产品,其中有一些专门的特性,比如说Tile Region Protection;据说这也是首个满足ISO 26262安全标准的GPU IP。
PowerVR近代史上十分重要的一件事还在于2021年底发布的IMG C-Series架构。PowerVR Photon光线追踪架构部分应用到了C-Series GPU IP上。就IP层面,在移动平台做硬件级光追加速的,Imagination走得还是相当超前。就光线追踪的技术储备,似乎可以追踪到2010年Imagination收购Caustic Graphics,这就是个做软硬件实时光追图形技术的企业。
Imagination说自家的原型光追硬件,最初是在2016年的CES展会上对外做演示的,按照Imagination宣传的RTLS(光追等级系统)分级标准,处于Level 5(Coherent BVH processing with BVH hardware builder)。基于Photon的CXT架构的目标等级是Level 4(BVH processing with coherency sort in hardware),并完整支持业界标准的Vulkan RT光线查询和光线管线扩展。可见在规划上,Imagination的硬件光追实现具有相对比较长的历史, 在性能上Imagination 犹有余力, 据介绍其产品可以达到更高RT等级。
我们知道,光线追踪对硬件算力和功耗需求很高,于移动平台的暴力实现也并不合理。所以PowerVR在设计上特别加入了“coherency sorting”相干性排序:这一特性会对具有相干性的光线做排序,比如某些材质反射同方向光线做分组,可以达成更高的数据复用率,提升并行ALU管线利用率。Imagination在技术白皮书中说,coherency sorting对于光线追踪的价值,相当于TBDR对于GPU效率的价值。
C-Series中的IMG CXT被Imagination称作现如今在能效方面最先进的光线追踪解决方案,预计基于该架构的实际芯片产品会在2023年问世。这是一个全新的战场,对任何市场参与者而言都如此。另外,Imagination透露不久还将有新产品发布。
实际在2017-2019年前后,Imagination曾面临过多次企业层面的动荡。不过在新篇章的IMG A-Series发布至今,PowerVR仍然以充满活力的方式迎接着电子产业与图形世界的未来。Imagination说到2022年,公司已经在汽车HMI图形市场占据超过50%的份额,移动图形市场占比也超过35%。
这个成绩的获得对拥有30年历史的PowerVR架构而言还是很不容易的。毕竟兜兜转转的几十年GPU发展史,多少原先的市场参与者都已经不在了。其实本文还没怎么涉及到PowerVR计算机视觉和AI产品线。不过在动荡期过后,PowerVR的确正以全新的面貌尝试进驻更多万物互联的市场。本文的下篇,我们会着重描绘Imagination长期以来引以为傲的TBDR技术。
Imagination也将参与即将于11月10日在深圳大中华交易广场举办的IIC深圳(2022国际集成电路展览会暨研讨会)。届时Imagination中国区董事长白农将在同期举办的全球CEO峰会上发表主题演讲。IIC是由Aspencore主办的电子产业权威交流平台。展会设置IC设计专区、分销与供应链专区、综合展区等,集合了国际国内最顶尖的电子科技产业领袖。同期还将举办全球CEO峰会、全球分销与供应链领袖峰会、国际工业4.0 技术与应用论坛及第24届高效电源管理及功率器件论坛。点击这里或扫码报名参会。
- 垃圾