手机SoC运算规模将收缩？但娱乐体验却会更好？

今年的MWC 2019上海展会上，我们听到了一个颇为新奇的观点：现如今性能越来越强劲的手机SoC——包括CPU、GPU、NPU等，在不远的将来可能将在运算规模上发生缩减。尤其在5G普及以后，手机连接带宽大幅提升——或者说“5G将成为无线PCIe总线”，真正的运算任务交给云去完成，而本地只需要保留通讯功能，和视觉处理器，用于管理屏幕显示效果即可。

这是视频和显示解决方案提供商Pixelworks首席技术官张洪敏博士在聊天时告诉我们的。这个想法好似是沿袭自云计算诞生之初的设想，不过现如今边缘计算正大行其道，尤其正当edge AI之风盛行，如此大胆的设想还是相当有趣的。

Pixelworks首席技术官张洪敏

“我们讲弹性运算。如果只在线下运算，和云还是不能比的。未来5G普及了，应用也成为了云应用，BAT也会更加强势。”“手机的能量应该留给通讯，而不是留给计算。”

把电视套用到手机上

视觉处理器及其连带的解决方案，在电视产品中并不罕见。它们通常以“画质增强引擎”这类形态存在于电视机制造商的宣传词中：现如今的很多智能电视都有类似的方案，它能够实现的功能通常包括运动补偿、视频内容的分辨率upscale，甚至高级一些的比如分区背光、HDR等。

典型的运动补偿：比如我们看到的很多视频内容，像是一般的电影，拍摄时其帧率就定格在24fps。画面动起来，或者画面中动态内容很多时，在60帧或120帧的电视屏幕上就会产生运动模糊。如果能够把24fps的画面提升到60fps，那看起来感觉就会顺畅很多。

手机屏幕本身的刷新率是可以达到60Hz（甚至最新一加的90Hz）的，在应对24fps的视频内容时，一般的方法是通过对原内容帧的多次重复（有的帧重复两次，有的帧重复三次）来显示画面。Pixelworks移动业务营销副总裁Peter Carson先生为我们演示了常规24fps内容，在画面平移时产生的画面抖动和运动模糊。

但如果通过运算，在这24fps画面中插入36个中间帧，而非简单重复，情况就大不一样了。针对每一帧的运动方向、运动速度做检测，然后沿着每个方向做连续插帧。那么低帧率的内容就可以这样的算法插值到高帧率，包括120fps。Pixelworks将这种技术称作MotionEngineTM。

除了这种抵消画面抖动和运动模糊的方案之外，还有色彩增强，以及画面细节的加强。这其中画面细节的增强除了显示内容锐度加强外，主要是可将原有SDR窄动态范围的画面，转换到HDR——我们猜测应该是应用某种tone曲线以及dithering达到增加亮部和暗部细节以及色域扩展的效果——加之本身就支持HDR内容显示（HDR10/10+），所以Pixelworks称其为“always-on HDR”；色彩增强则表现为对屏幕显示色准和色域覆盖更为准确的把控。

iPhone XS Max与诺基亚7.1手机显示相同内容时的画面宽容度对比（注：可能因为拍摄设备及角度等原因，照片可能无法完整还原现场看到的对比情况）

现实中，这种技术在电视设备上并不罕见；家庭娱乐本身也是Pixelworks一直在做的业务。但张洪敏表示：“以前是电视在做，现在手机也要开始做。”Pixelworks为手机设计的这种视觉处理器名为Iris。所以我们看到，像诺基亚7.1这样的手机已经用上了Iris芯片（具体为Iris 3 Lite），Peter Carson为我们现场展示了，显示高光比画面时，诺基亚7.1和iPhone XS Max呈现出的差距。然而实际上，诺基亚7.1是一款售价2000出头的中端手机，而且其屏幕是LCD而非OLED。

还有支持MotionEngineTM动态补偿算法的Android手机（具体为Iris 2+），在播放24/30fps的视频内容时，流畅平滑程度碾压iPhone XS Max。现场观摩的同仁总体都是相当惊叹的。“iPhone XS Max的这块屏幕本身就已经非常不错了，但在显示动态画面及画面细节时还是不够的。尤其我自己看多了Iris加持的视频画面，起初就只是觉得还不错，但再看普通画面，就感觉再也回不去了。”Carson笑说。

Pixelworks在做的这件事有时又更像是手机主SoC的职责。有趣的是今年3月，Pixelworks才刚刚宣布和高通达成合作，将Iris融入到骁龙855平台（所谓的Soft Iris），Iris在此成为骁龙SoC的一个组成部分。在常规的Iris芯片架构中，从逻辑上本身就包含存储系统的Iris与手机SoC连接，手机连接屏幕的DDIC/TCON，并且会管理屏幕亮度，最终起到加强显示的目的。

5G就是无线PCIe总线

当然我们并不能真的认为iPhone XS Max的显示效果不够好，只不过iPhone XS并没有针对原视频内容做各种upscale操作，而且iPhone XS也支持HDR10（和杜比视界）。然而这其中看起来就更有成本效益了，毕竟诺基亚7.1的价格和iPhone XS差了5倍。

Carson特别提到了现如今手机成本BOM物料清单中，用于提升视觉体验的成本占到了32%，包括显示屏、摄像头。同时eMarketer的数据显示，2020年中国成年人会把33%的日常数字时间用于观看视频，那么包括通讯模块、SoC中的编解码block在内的很多物料，也算是用在了视觉体验上。

iPhone XS Max的一块屏幕成本就超过90美元。Carson认为，以更经济的屏幕搭配Iris，实际也可以达到相似甚至更好的效果，“成本优势可以达到10美元”。或者讲得再直白些，就是用更低的价格来优化视觉效果。Carson甚至列举了一款采用Pixelworks方案的手机，虽然他没有透露是何型号，但价格不到iPhone XS Max的一半，其屏幕整体的ΔE色彩偏离度平均0.5——iPhone XS Max屏幕以很高的成本将ΔE控制在1.2实则已经相当出色，但Pixelworks的这个数字就让人咋舌了——如果它的确属实的话。或许未来是该好好留意是怎样几款手机。

Pixelworks移动业务营销副总裁Peter Carson

“当然了，屏幕本身的亮度、色域等指数也必须能够达到相应的水平，Iris才能帮助进行更到位的调教。”张洪敏说。

“Iris本身是针对AP来offload computing power。AP输出30fps画面，让Iris做到90fps，功耗就会得到下降。”这么听来，Iris作为一个中间身份的存在，颇有点儿抢SoC多个模块饭碗的意思。但张洪敏的看法更激进：未来SoC本来就会在规模上有缩减。“5G时代来了，手机的能量应该留给通讯，而不留是给计算。”

那玩游戏、执行各种操作的算力又从哪儿来呢？云！“5G本身就是低延迟、高带宽的通讯，它会成为无线PCIe总线。”这是个很形象的说法了。而手机设备和云之间实现了“虚拟显示屏”。总的来说，张洪敏理想中的结构是下面这样的：

“5G带宽的增加，让3D游戏、云游戏成为可能。我们接下来的计划也是瞄准云游戏。美国的很多厂商都在开发云游戏，谷歌、微软、索尼都在做。云上游戏，在手机端可以直接玩。”而不需要手机端具备多大的算力。

“游戏的云服务器上，Pixelworks会提供运动处理SDK。游戏引擎产生的图像，每一帧+向量到达本地，手机上的Pixelworks还会执行预测帧的操作。这样可以做到几乎100% offload GPU了。” 一方面设备成本得以降低，而且高帧率屏幕也让触摸响应更快。这样一来本地娱乐体验自然也就得到加强了。另外还有针对VR的视觉协同处理，这些都是相当超前的想法，未来这种架构能不能彻底铺陈开去，真的就要看5G和各种技术的发展程度了。

构建一个端到端的帝国

然而这还只是个开始，pixelworks真正在做的事看来野心更大。Carson说，现如今技术让设备端的发展速度很快，所以电视、手机显示屏、芯片早就支持HDR、高分辨率、高刷新率了；但内容却完全没能跟得上，包括发展了那么多年的4K电视，实际的4K内容还很少。

Pixelworks第一阶段的工作就是用Iris这样的芯片，在播放设备端让低分辨率、低帧率、低动态范围的原始内容转成高分辨率、高帧率、高动态范围的内容。“我们就是要弥合内容与设备之间的间隙。”

这不过是小场面，Pixelworks的TrueCutTM平台期望从内容创作过程开始介入：也就是在视频内容拍摄时，就让摄影师、调色师有4K/8K、60fps/120fps、高动态范围等选择，从源头提供工具；随后提供并控制分发渠道，也就是相关视频格式；最后就是现有电视、手机播放设备端利用视觉处理器的强化。

这项工作实则已经关乎标准设立。而且单是电影拍摄，即便全套平台系统得以顺利铺开，也不仅是技术层面这么简单，还关乎艺术创作意图：比如传说中的“电影感”就要求24fps在动态模糊中传递的感觉，所以李安120fps的《比利林恩的中场战事》才在电影创作中存在特殊性。很多影人认为高帧率天生不适合艺术创作，甚至认定播放设备端应用类似动态补偿这样的算法以后，“根本就不是同一个电影了”。

高帧率、HDR本身就会颠覆创作过程，并对构思和拍摄提出更高的要求。张洪敏表示：我们为制作端提供这样的选择，有60fps/120fps的显示，但仍然保持24fps的抖动感觉，“控制这种电影感”。“甚至提供虚拟快门，拍摄120fps画面的时候保证画面清晰的同时，仍然做到24fps 180 shutter angel的曝光。”

这听起来简直就是帝国级别的任务了。“这套创作流程现在只有杜比才有，但他们并没有提供高帧率的选择。我们是为高帧率、高动态对比度提供了全套流程的。”目前Pixelworks已经和优酷达成协议，进行TrueCutTM方面的合作；另外去年还跟万达影业合作，利用这套方案制作了《飞驰人生》——这也是国内第一部48fps电影。

打造这样一个帝国，加上“5G做无线PCIe总线”把主要算力悉数转移到云端，都是大胆的远见卓识。可能多年之后，我们回看Pixelworks的这些设想，会了解pixelworks的娱乐版图是否真的能够完美落地。