30年步履不停，IMG SoC IP的蝶变式创新与核心技术

近年来，全球对半导体器件的需求持续增加，也因技术的进步导致产品单价下跌。此外疫情、经济环境也导致半导体市场整体需求不断周期性变化。但无论是产品生命周期还是标准迭代的变化中，高性能SoC IP的需求始终处于增长态势，这也带动了技术市场的提振。

“IP的发展就好比一只蝴蝶，从卵从幼虫，再到蝶变的过程，背后反映的是应用市场需求的变化和推动。越来越多的SoC厂家，开始考虑借助专业IP公司的力量，在某一领域中提供优质技术服务，从而降低其总拥有成本并节省产品进入市场的时间。”11月2日，在由深圳市易维讯信息咨询有限公司（EEVIA）举办的第10届年度中国硬科技媒体论坛暨产业链研创趋势展望研讨会上，Imagination产品市场高级经理 黄音女士在题为《30年积淀，SoC IP技术如何赋能未来硬核科技创新》的演讲中说到。

Imagination产品市场高级经理 黄音 女士

Imagination也将参与即将于11月10日在深圳大中华交易广场举办的IIC深圳（2022国际集成电路展览会暨研讨会）。届时Imagination中国区董事长白农将在同期举办的全球CEO峰会上发表主题演讲。IIC是由Aspencore主办的电子产业权威交流平台。展会设置IC设计专区、分销与供应链专区、综合展区等，集合了国际国内最顶尖的电子科技产业领袖。同期还将举办全球CEO峰会、全球分销与供应链领袖峰会、国际工业4.0 技术与应用论坛及第24届高效电源管理及功率器件论坛。点击这里报名参会。

半导体产业链就像一个“倒金字塔”，数十亿美元的IP产业支撑着数千亿美元的半导体行业。据统计，2021年全球GDP约为96万亿美元，电子信息制造业规模约1.4万亿，而半导体的销售大概近6000亿，IP产值则是50多亿。

有数据显示，每年全球芯片的研发投入约为600亿，但IP研发投入只有36亿，占极小的6%份额。这也从侧面说明，IP是整个半导体上游产业链中的核心。换算下来，每1元的芯片能撑起200多元的社会经济；而每1元的IP，能支持20000元的社会经济价值，IP的重要性不言而喻。

大型半导体设计公司往往拥有有足够的技术、人才和资金储备，可以面向广阔市场在每一个细分领域和专项拓展。但对一些中小型、创业型的公司来说，成长过程需要专注核心领域，无法自研整个SoC的完整技术，需要IP公司的支持来突出优势并最终完成SoC设计。

IP公司的创新方向

IP公司在这个过程中的作用是提供核心领域的IP技术，协助验证、辅助流片等技术领域的事情。而包括芯片应用领域的应用技术和市场拓展，才是芯片设计公司应该专注的。黄音表示，Imagination作为一家拥有30多年历史的IP公司，“创新焦点一是性能，二是功耗，但它们的平衡——也就是PPA最重要。”

从常见的产品应用来看PPA的重要性，手机有电池供电，所以功耗非常重要；汽车因为在各种极限使用场景下都需要保证功能的稳定性，所以汽车芯片的功耗一定要保证散热的可持续性；服务器看似插电，但这类多集群设备24小时运转，也需要考虑到耗电和散热问题。而与芯片功耗直接相关的IP功耗，就显得非常重要。

市场趋势驱动着半导体技术的创新，灵活性和可扩展性非常重要。“过去，Imagination的技术主要应用在手机等嵌入式领域。如今随着国内内需市场中台式机、服务器、数据中心等对GPU需求的不断增加，从小核转向大核的扩展需要非常好的灵活性。”黄音说到，“其他需求还包括功耗、带宽和安全性。IP核供应商需要思考怎么在技术层面针对这些需求进行创新。”

第一方面，灵活性和可扩展性。以Imagination的C系列GPU核心CXT 8-256 RT1为例，该核心具有光线追踪功能，名称中的“8”表示贴图能力，“256”表示浮点运算能力，是最小的用在中端智能手机中的GPU核心。Imagination将其一路扩展到16-512、48-1536甚至64-2048的核，大单核性能可达到小单核的4-8倍，通过多核还可进一步提高性能，实现逻辑的扩大和增强。

为确保IP的可扩展性，Imagination采用了低耦合多核技术，它不像一般的SoC需要有中心核控制其它核工作，而是每个核有相同等级的权重和功能，信号不需要一定经过中心核可以节省能耗和带宽。

部分核心技术介绍

分块延迟渲染（TBDR）是Imagination最早提出的GPU核心技术，其优势在于不对整个贴图进行带宽渲染，而是进行分块后，把一个个小块上的图形数据一次性挪到GPU Cache中节省带宽。TBDR还能把负载在高性能GPU上高效分布，更加善于利用系统内存，并通过只渲染可见像素，放弃被覆盖或被遮挡的像素来大幅提高整体效率。

目前业内的SoC芯片大多采用硬件压缩技术，例如ASTC、ETC/ETC2等。Imaginatio的GPU硬件压缩技术PVRGC和IMGIC各有特点，其中IMGIC提供四种压缩等级，从像素完全无损模式，到可确保 4:1 或更佳压缩率的带宽极省模式。“除了无损压缩外，我们还能做有损压缩。例如25%、50%或75%的有损压缩后，肉眼看起来跟原图没有太大的差别，但能节省20%-40%的带宽。”黄音介绍到。

Imagination也是第一家实现GPU硬件虚拟化IP授权的公司，硬件虚拟化可以理解为对用户隐藏了真实的计算机硬件，表现为另一个抽象计算平台。以搭载GPU的智能计算单元为例，虚拟化让它具备了托管一个或多个虚拟机的能力，这样单个GPU可以支持多个同时运行的操作系统，而工作负载都提交给单个GPU，大大提升并行计算能力，缓解负载压力。

具体到汽车应用，OEM厂商可以通过采用硬件虚拟化技术来实现服务和应用程序的有效隔离。一方面可确保在系统被入侵或数据损毁时仍能保持安全，另一方面可任意部署或移除某个应用，而不影响其他同时在运行的服务。

黄音表示，硬件虚拟化有3个好处：

第一，节省硬件成本。通过硬件虚拟化技术，可以用单个GPU核最多支持8路虚拟OS，提高硬件利用率。这意味着用户可以实现“一芯多屏”。

第二、更低的软件成本。每个汽车OS都具有完整的驱动程序，并且可以以独立和并发的方式直接向GPU底层硬件提交任务。这大大减少了CPU控制调度的程序开销，以及软件移植和维护的工作量。

第三、安全性和健壮性。硬件虚拟化可在不同的汽车OS及其相对应的应用程序之间,提供安全隔离，非关键OS应用程序的失效不会影响到关键OS。除了隔离，还支持对多个汽车OS和应用之间，灵活地调整业务优先级和分配GPU性能。据悉，Imagination这技术已广泛应用于众多车型中。

Imagination还首创在GPU中放置小型固件核。它首先可以用于本地事务，同时Off load host CPU部分的工作，减少Host CPU的负载；其次，在GPU出错时，它能采集全部数据日志，并做错误分析；第三，它能通过GDB连接到GPU寄存器，进行一些Debug工作。另外基于固件的核还能通过GPIO，做一些用户需要的自定义业务。例如，连接外部的摄像头、AI或压缩解压缩的设备，进行功耗的控制。

PowerVR今年30岁了，回顾进化史

Imagination的王牌IP核产品PowerVR GPU，最早应用于Dreamcast等街机中, 后来专注于智能手机等嵌入式领域，如今诞生已经30年。

2019年，Imagination对GPU架构进行了大改进，推出了A系列AXT GPU。该内核是Imagination的第十代核，相较于第九代性能密度比（即单位面积的性能）提高了2.5倍，拥有更完善的运算逻辑单元，提高了纹理处理的能力，能够配置Cache，而且提高了压缩算法。

2020年，推出B系列BXT GPU产品开始支持4核多核技术，并且在算力上进行了优化，在微架构上进行了微调。

2021年，推出的C系列CXT GPU增加了光线追踪（RAC）的核，可以做到多核光追。

黄音认为，过去的50年是算法和算力发展的50年，计算的创新和演进聚焦于可扩展性、灵活性、效能、效率以及可编程性。“在软件上，Imagination有行业标准的API工具，支持不同的语言、API，同时还有可视工具和Debug设备，能够针对不同的AI应用场景需求做建模、部署和计算。”

当计算持续发展，异构计算将是必由之路。数据大爆发带来了AI计算的需求，包括SoC设计公司在内的芯片公司，都在追求更高性能、更低功耗、更节省带宽的方案。这就需要在硬件和SoC整体设计上采用异构解决方案，把不同类型的核进行集成，如CPU、GPU、NPU、神经网络加速单元等进行叠加，对数据进行专业分工和更先进的处理。

异构计算中，GPU的重要性不言而喻。以Imagination的GPU架构为例，完整的运算逻辑单元能进行乘、加、浮点运算、向量运算等。“我们支持浮点运算（FLOAT）到32位，以及INT8/16/32。纹理处理单元、反扭曲处理、基础过滤、结合着色器做更加复杂的过滤……这都通过GPU里的不同运算器来实现。”黄音说到。

从上面两张图的PowerVR GPU的系列运算单元架构演进史，ALU架构最大已经支持128 Pipelines。

Imagination在AI领域的研发也有十年历史，其神经网络加速器是一款高效率纯硬件加速器，也是对GPU计算的补充。例如，一些专有神经网络层可直接放到AI上做加速，一些网络计算、非最大值抑制、典型图形运算等，也可能需要GPU来做的。这就需要GPU和AI相互配合做计算。

在软件方面，Imagination有针对多核异构的IMGDNN中间件，往上能支持各家的运算库、框架、模型和算子；往下能够到Imagination的NC-SDK层（异构计算核心），主要支持GPU和NNA的DDK，从而驱动硬件。

2021年，Imagination推出全新RISC-V CPU核Catapult，作为对GPU和AI核的补充。资料显示，Catapult RISC-V CPU有SDK和集成开发环境（IDE），基于Visual Studio Code。

具体到应用

异构计算有非常多的应用场景，比如汽车。汽车行业目前正向高性能化、智能化、电动化甚至自动驾驶化方向发展，“未来我们将看到更多的人机交互屏，更先进的智能座舱，不但车与车之间可以交互，还能跟行人、路况及周边设备做交互，时刻把握行驶的安全可靠性，”黄音说到，实现这些需要非常多的计算，Imagination不但与芯片厂商、Tier 1厂商合作，还与OEM合作，所提供的一系列IP核都能够辅助计算。“目前我们在汽车GPU IP市场份额高达51%。”

据介绍，硬件实时光线追踪是Imagination最早提出来并实现的。光线追踪可以在不同的性能和效率等级下执行，为了明确这一点，Imagination 建立了光线追踪等级系统（RTLS），确定了从0级（Level 0）到5级（Level 5）共6个等级的光线追踪功能的要求。IMG CXT采用的Photon架构处于RTLS的4级（Level 4），这是当前可用的最先进的光线追踪技术，应用在移动端可为移动游戏玩家和开发者提供桌面级质量的体验。

如上图所示，光线追踪RT OFF时，阴影渲染非常生硬，阴影跟光线之间的分隔非常明显。但有了光线追踪技术，这些阴影会变得非常柔和，如果再加上全局光照GI，就能追踪每条光线的来源和去向，光线跟物体之间交汇的作用都会显示出来，让画面更加自然逼真。

谈到Photon架构的先进性，黄音表示，移动设备上光追，总会受限于面积和功耗的预算，所以需要高效架构解决方案。“Photon架构的硬件光线追踪和排序，对软件来说是透明的，确保硬件上并行追踪的发射光线具有潜在的相似性，这称为相干性聚集。而业界的其他光线追踪解决方案，大部分是在软件中完成这一关键步骤，不可避免地会更慢、更低效。”另一个要求是可扩展性，Photon架构中的高效单例RT核可线性扩展。IMG CXT-48-1536 RT3 内核具有三个 RAC 实例，性能可达 1.3GRay/s 。

黄音介绍到，这项技术推出后得到了业界大量应用厂商、游戏厂商的支持。不过目前Ray tracing在游戏主机和PC上还属于比较新的功能，对于移动设备开发者和生产商来说，更需要一些时间来跟进。Imagination已经在光追解决方案上深耕十余年，在最近的几年才开始授权。并且得益于Imagination的多核技术，Photon架构可以扩展应用于云、数据中心和PC市场。

Imagination也将参与即将于11月10日在深圳大中华交易广场举办的IIC深圳（2022国际集成电路展览会暨研讨会）。届时Imagination中国区董事长白农将在同期举办的全球CEO峰会上发表主题演讲。IIC是由Aspencore主办的电子产业权威交流平台。展会设置IC设计专区、分销与供应链专区、综合展区等，集合了国际国内最顶尖的电子科技产业领袖。同期还将举办全球CEO峰会、全球分销与供应链领袖峰会、国际工业4.0 技术与应用论坛及第24届高效电源管理及功率器件论坛。点击这里报名参会。