OPPO发布自研NPU MariSilicon X，主打能耗比、HDR、RAW处理和传感器深度耦合

手机厂商为什么都热衷于自研芯片？这个问题从苹果三星，到华为等中国厂商一路走来，已经给了我们明确的答案——自家机器需要什么，只有自己最清楚；也只有自己有芯片，才能在同质化日趋严重的智能手机行业体现出品牌的差异化。

具体到自研哪种芯片，各家又不尽相同。华为是本土甚至世界范围内手机芯片自研率最高的企业之一，除了麒麟系列SoC，还有基带、电源管理、射频、功放和音视频编解码等芯片；小米曾在2014年成立松果电子主攻SoC，然而2017年澎湃S1诞生后便转向ISP芯片的研发，2021年发布澎湃C1；Vivo自研ISP芯片V1也在历经两年研发后，于今年8月正式搭载在其手机中。

作为国产手机四大金刚之一的OPPO，也早就流露出了自研芯片的蛛丝马迹。

OPPO造芯轨迹追寻

综合过往媒体报道，我们回述，能够梳理出OPPO造芯节点的大概脉络：

2018年8月，OPPO开始在招聘网站上发布大量芯片设计工程师的岗位，包括SoC设计工程师、芯片数字电路设计工程师、芯片验证工程师、芯片前端设计工程师等；

2018年10月，成立OPPO芯片TMG（技术委员会），时任负责人陈岩是OPPO芯片平台部部长，此前担任OPPO研究院软件研究中心负责人。加入OPPO前曾经在高通做过技术总监；

2018年11月，OPPO在内部文件中提到了“马里亚纳计划”，同时OPPO CEO陈明永表示，2019年公司的研发资金将从2018年的40亿元提升至100亿元，并且将逐年加大投入，这样的数额想必有很大一部分都投到芯片研发里了（终端产品的开发根本无需这么多的资金）；

2019年8月，OPPO在上海注册成立“守朴科技（上海）有限公司，公司经营范围包括从事电子科技、网络科技、信息科技领域内的技术开发、计算机软件的设计、开发、制作、销售，芯片、半导体元器件、仪器仪表、通讯产品的销售等；

2020年初，OPPO的内部文章《对打造核心技术的一些思考》流出，其中再次谈到关于芯片的“马里亚纳计划”；

2020年8月，守朴科技（上海）有限公司发生工商变更，公司名称由守朴科技（上海）有限公司变更为哲库科技（上海）有限公司，注册资本从5000万人民币增至1亿人民币，增幅为100%；

2020年10月，哲库科技发生股东变更，由OPPO广东移动通信有限公司控股变更为广东欧加控股有限公司，该公司也是OPPO、一加和realme的母公司；

2021年9月，哲库科技面向国内和海外启动了2022届校园招聘，芯片类相关的岗位中，涉及芯片架构、CPU/NPU/GPU、基带、ISP、封装等多个方向，内部人士透露，哲库的员工规模已达2000人；

2021年12月，《电子工程专辑》等半导体行业专业媒体接到了OPPO一份特殊的邀请函一本书——《海底两万里》，暗示“马里亚纳海沟”，对应了之前的造芯计划代号。

至此，业界基本明确了OPPO的自研芯片就是“马里亚纳”，但官方的低调让大家一直无从得知他们研发的芯片类型和进展，有人猜测是ISP，也有人猜是SoC，还有人根据2019年申请的OPPO M1商标，猜测是一款协处理器。

谜底揭晓，是NPU

谜底在OPPO 今年的未来科技大会（OPPO INNODAY 2021）上揭开。

12月14日，OPPO正式对外发布首个自研芯片“马里亚纳 MariSilicon X”，这是一款神经网络处理器NPU（Neural Processing Unit），基于有AI时代“芯片新黄金架构”之称的域架构（Domain Specific Architecture ，DSA）理念。有关注《电子工程专辑》的朋友应该还记得，今年CEO峰会上安谋科技（Arm China）执行董事长兼首席执行官吴雄昂就曾在分享下一代感知计算和整个计算中对新架构的需求时，谈到了DSA并重点说到其在NPU上的应用。这一个技术点我们在下面会细说。

另外，这款芯片由台积电（TSMC）6nm EUV工艺制造，并一次流片成功。

马里亚纳 MariSilicon X芯片实拍图

谈到NPU大家已经不陌生了，早在2013年，高通就提出了“Zeroth”处理器的概念，这款处理器可以模仿类似人脑的认知能力，并实现自我学习的功能。在高通的设想中，Zeroth的终极目标就是形成标准化的新型处理架构，并且第一次提出了NPU的概念，这种芯片已经具备了AI芯片的雏形。

2017年，华为在其麒麟970 SoC中首次将寒武纪NPU嵌入，作为用于神经元计算的独立处理单元，以神经网络算法及机器学习处理图像、用户行为等海量信息。华为之后不久，苹果也在其A11 Bionic中首次搭载NPU，并且基于此发布了第一代Core ML，运用本地化人工智能加速器进行机器学习。在此之后，几乎所有的手机厂商都将AI作为新的亮点，如果没有足够的AI算力去做图像和视频计算，都不好意思拿到台面上讲。

原理上看，由于神经元分布是网状结构，因此能够实现发散式的信息处理及存储，使得处理与存储的效率大大提高，并有助于机器学习。而NPU的工作原理正是在电路层模拟人类神经元和突触，并且用深度学习指令集直接处理大规模的神经元和突触，一条指令完成一组神经元的处理。相比于CPU和GPU，NPU通过突触权重实现存储和计算一体化，从而提高运行效率。

为什么是NPU？

OPPO为什么要以一款NPU，作为自研芯片的开端呢？

OPPO 芯片产品高级总监姜波在发布会上表示，这源于过去十年OPPO在传感器、摄像头和透镜（lens）等影像方面定制的积累和体会。基于通用SoC平台要想在手机上达到终极体验目标，需要定制化的传感器与SoC做Pipeline（链路）优化配合，但SoC的长研发周期和传感器的短研发周期存很难达到平衡，这是采用通用芯片做手机的一大痛点。

OPPO 芯片产品高级总监姜波

另一大痛点是能耗比，姜波回顾在刚开始研发NPU时也考察了一些公共IP，但没有一款可以在OPPO的场景算法中达到最优能耗效率，所以他们从零开始自研了 MariNeuro IP。然而在没有搭载自研NPU的情况下，这款算法在手机上只能跑2FPS，功耗1693mW，所以只能用于拍照AI降噪，而不能用在基础门槛30FPS的视频录制上。即便SoC扩大算力做到30FPS，但能耗和利用率不变的情况下，功耗扩大很多倍也会完全超出手机的能耗约束，这是现有通用处理器+自有算法遇到的门槛。而NPU可以代替CPU进行处理，让终端具备更强的本地AI运算能力，类似于独显做“硬解”，相较CPU的“软解”，“硬解”效率更高、速度更快、功耗也更低。

姜波认为，未来十年计算影像将主导整个影像新的技术发展，而算法与芯片的结合、软件和硬件的结合，会起到关键性作用。如果算法和芯片不能做到相互完全开放、紧密耦合，则无法发挥出最大效益。

从芯片算力来看，通用设计的NPU芯片无法在同样功耗预算下提供足够算力，处理速度也无法满足日益增长的视频流需求。而传统的ISP芯片智能用于多帧合成等传统影像处理，对AI深度学习的网络模型却无能为力。而以专用NPU的定义，可以在提供同样算力下，大幅度降低功耗和缩短处理时间。

这款NPU虽然同样是针对影像应用，但与苹果华为或高通联发科采用的SoC集成式不同，是一颗独立芯片。在性能和特点上主要强调4点：极致能耗比、20bit HDR、RAW处理、RGBW传感器与芯片耦合。

能耗比对手机很重要

在这点上，姜波强调了两个数字：18TOPS 和11.6TOPS/W。虽然当前手机对于影像计算的要求越来越高，但移动设备跟服务器等设备最大不同就是对功耗及热性能（thermal）要求非常严苛， PPA（Power Performance Area）的平衡制约着手机性能的提升，没有人能在不考虑功耗的情况下一味追求算力。

MariSilicon X 自带18TOPS@INT8的算力，作为对比的iPhone A15 NPU算力约15TOPS，但业内人士都知道，通过增加芯片面积（晶体管数量）堆算力并不难，难的是能耗比。姜波表示，MariSilicon X 11.6TOPS/W的能耗比是通过已经商业化的AI算法，基于随机生成图片的实验实测得出，如果是对现实世界里的人像、风景等图片进行处理，能耗效率甚至会超过12TOPS/W，“NPU的真正难点在于，在应用场景算法约束的情况下达到这样的能耗效率，我们测试的结果是，在797mW的功耗约束下达到40FPS。”

获得更高能耗效率和使用率的关键，除了NPU架构本身，存储和运算对于整个AI系统也很重要。因为AI神经网络的处理速度往往受限于内存的容量和读写速度，也就是行业常说的冯·诺依曼“内存墙”瓶颈。计算单元的运算速度和传输速度就像一个木桶中的不同木板，最短的那个限制了计算单元的能力。OPPO根据自家算法和网络模型，让MariNeuro自带LPDDR4X内存系统，这样除了NPU架构与算法实现耦合优化，存储系统也能根据算法和场景要求进行相应客制化优化。

MariSilicon X还有多级内存控制系统并配备了专用DDR，部分信息可以直接在专用内存中处理，数据传输速度达到万亿比特/秒（Tb/s），独立的DDR带宽吞吐率达8.5GB/s，这与跟外部DRAM传输比较是数量级的提升。另外在SoC中还有片上共享内存，MariSilicon X跟主芯片搭载使用时， 在其基础上DDR吞吐率能够增加17%。

最后是6nm工艺的选择，“其实我们立项这颗芯片时，评估了各种工艺制程。最初从研发周期、基础IP的可获取性等方面考虑是12nm。”姜波回忆道，“但在经过多次仿真后，发现12nm很难达到终端层面功耗性能极致的要求，必须选择6nm。”据介绍，为了达到MIPI 峰值吞吐量，6nm的MIPI IP也是该团队自行研发，没有选择第三方IP。

资料显示，6nm是台积电第一个采用EUV的主流工艺，6nm以上的工艺则采用DUV工艺。行业内有个说法，6nm是先进工艺和成熟工艺的分水岭。OPPO认为，6nm能够很好地支撑同级最好的能效比，包括在RAW上的复杂算法处理。

20bit HDR

MariSilicon X中另一个自研IP叫MariLumi，姜波又强调了两个数字：20bit和120dB。

HDR是图像处理的关键指标，最近手机SoC行业中发布的两颗重量级旗舰骁龙8 Gen1和天玑9000的这个指标参数都是18bit，而OPPO的NPU达到了20bit。姜波表示，按照定量分析，“MariLumi IP加上MariSilicon X可以得到的图片动态范围是目前旗舰的4倍。对于一张图片而言，最暗和最亮的部分相差100万倍，而刚发布的顶级手机SoC则是25万倍。”

马里亚纳 MariSilicon X 4K视频截图 V.S. Find X3 Pro 4K视频截图

像素级的处理速度也让智能HDR融合算法可以在这颗单元的前端运行，最终令画面动态范围达到了惊人的20bit 120db（20 stops），相比Find X3 Pro提升4倍，达到20bit Ultra HDR超级动态范围。而除了常用的HDR AI 降噪外，MariSilicon X另一个特点是所有复杂算法和运算，包括HDR Fusion都在RAW域上实时处理。

RAW处理

一般手机摄像头拍照后，收获RAW信息后转成RGB，再转成YUV，每一步都有信息损耗, 导致传统计算摄影只能对有损的信息进行处理，无法实现最佳的效果。传统上HDR是在影像链路的最末端YUV里合成的，目前OPPO Find X3 Pro上的AI降噪算法也是如此，最高能到18bit HDR，在1080P上AI降噪。而在RAW上处理相当于把算法完全前置，好处在于线性度、色彩较好，在更原始的信息上处理可以得到更好的效果，相应的算法复杂度、硬件投入也会更大。

这就牵扯到一个问题：究竟有多少夜拍视频的需求，值得去这样做？姜波认为，其实需求一直存在，只是以往在夜拍场景中手机的表现不尽如人意，即便是切换到夜拍模式激活AI降噪和HDR，ISP实时处理的通用算力也往往跟不上，“往往拍一张照片需要等一等才能看到，更别说拍摄需要实时处理的动态视频了，这就是算法+硬件在夜拍场景下的处理能力不足。”

根据OPPO基于MariSilicon X的内部测试平台实测，配备MariSilicon X的方案相比没有的至少有8dB信噪比增强，相当于2.6倍提升。在4K应用场景下，图像亮部增益在8dB，暗部达到12dB，暗部信噪比可达4倍有效提升，实现用4K RAW拍视频时的AI降噪。是将原本智能用于照片的夜景模式，用到了实时性的视频拍摄中，实现了场景应用上的突破。

传感器定制化

为了提升手机在低照度下的拍摄效果，传感器厂商在传统RGB传感器的基础上推出了RGBW传感器，其原理是通过改变传感器像素排列增加进光量，提升信噪比。但由于是新产品体量不大，所以业界没有专门针对这种排列的处理算法。在通用SoC上处理，首先就要是在传感器端把RGBW做remosaic，变成传统RGGB信息再传送给SoC处理，这个过程会丢失一些有用的信息。

如何尽量减少信息损失？马里亚纳团队在定义这颗NPU时希望能跟OPPO定制的RGBW传感器IMX709紧密耦合，所以在ISP处理上采用了RGBW Pro Mode，也就是RGGB和White两路图像处理pipeline(RGB和W像素分隔处理)，比传统RAW增加了一倍，相应的算法处理能力也增加了几倍，与一路pipeline方案对比可以得到7.9倍的信噪比提升；在纹理细节通过2路超采样，可得到1.7倍的解析力增强, 释放出RGBW阵列的全部潜力。

关于DSA和AI计算能效

综合前面的说法，AI算力是计算影像发展的重点，那么芯片中对于AI单元的设定和算法的配合，就是这颗芯片定义的关键环节。

从传统的芯片发展来看，无论是摩尔定律代表的通过工艺提高晶体管密度，还是通过增加核心数量，扩大芯片面积，对目前的计算性能提升都有限。图灵奖得主John Hennessy 和 David Patterson在2019发表的经典文章《A New Golden Age for Computer Architecture》中提到“登纳德缩放定律结束、摩尔定律衰退，而阿姆达尔定律正当其时，这意味着低效性将每年的性能改进限制在几个百分点。获得更高的性能改进（像 20 世纪八九十年代那样）需要新的架构方法，新方法应能更加高效地利用集成电路。”

数据来源：《A New Golden Age for Computer Architecture》

举例来说，想要一条指令的操作次数提高10倍，可以通过芯片规格的提升来实现，比如升级工艺，增加晶体管。但是如果要提高100倍，传统通用架构设计方法的能效比已经到极限。而要获得更显著的能效提升，就像 20 世纪八九十年代摩尔定律带来了PC性能跃进的第一个黄金时代一样，在架构设计上就必须要有颠覆性的创新，需要一个更加适合AI的计算架构，来实现能效的大幅度提升。

DSA就是一种更加以应用场景为中心的设计思路，通过特殊的计算架构为解决特定领域的问题提供高效性能，尤其是在AI芯片的设计领域，这样的设计理念更加受用。简单来讲，就是专芯专用，让设计出来的芯片不去解决所有问题，而是解决特定的一类问题，从而满足对效率的需求。

在DSA架构的思考下，最重要的一步，就是将专用的AI算法进行芯片化，也就是在芯片底层硬件中，就直接潜入最适合OPPO 自研AI算法的算子。这样一一对应的设计，才能最大化地发挥芯片的算力。

那么在手机影像的应用中，需要多少的算力才足够？从目前和未来的可能应用来讲，OPPO将算力水平分为4级，分别是场景感知、场景重构、像素级处理和多维度立体图形处理，简单来说就是理解图像内容、识别并处理图像中的主要对象，处理图像中的每个像素，处理三维/多维图像。

数据来源：OPPO内部

传统的计算摄影由于算力的限制，只能做到场景重构这一层级，比如大部分手机目前对于人像处理时采用的人脸检测和美颜的计算。想要更进一步，逐个像素对图像进行处理，乃至未来对AR/VR的三维图像进行实时处理，高算力是必不可少的，实现像素级的图像处理至少需要10-50Tops级别的算力。

NPU的未来是独立还是集成？

虽然DSA强调“专芯专用”，但对于高通和联发科已发布的高端SoC NPU功能，难免有消费者会拿来与MariSilicon X进行对比。姜波认为，独立NPU并不是要取代SoC，而是与CPU、GPU协同处理去解决一些SoC解决不了的问题，两者搭配会实现1+1>2的体验。在位置上，OPPO的独立NPU位于SoC与摄像头之间，把整个链路用户场景下功耗最大的HDR、AI降噪等算法在MariSilicon X上实现real time RAW processing（实时RAW计算）之后，SoC便不需要再处理，总体上也更节省功耗。

另外，针对不同的手机厂商和图像传感器，通用器件要做到全部支持所有算法，会导致Die size过大和研发周期过长等问题，即便把MariSilicon X这样的功能集成到SoC中是整个计算影响的未来趋势，短期内也暂时不会出现。

面对手机厂商加大自研芯片的做法，高通又是什么看法呢？在12月2日举行的高通骁龙峰会上，高通技术公司产品管理副总裁 Judd Heape对在场记者表示，“手机厂商在影像方面的一些核心技术创新其实更多是和主芯片的协同，两者并不冲突。”

他认为，很多OEM厂商在影像方面在进行（自研芯片）定制，因为这样在差异化上所取得的成效是最明显的。对于他们的做法高通也非常欢迎，尤其是在现在的骁龙平台基础之上，可以在软件的层面做进一步定制。

总结

手机传感器受限于外形尺寸，不能无限增大来突破光学物理条件的限制，要和单反这样的专业设备PK影像品质，只有通过计算影像的能力来提升。传统多帧合成技术已经没有更多发展空间，传统算法（CV算法）经过多年的积累和发展也已经达到能力极限，而自AI技术引入影像后，算法带来的冲击却很可观，从近期权威峰会如CVPR榜单看到，降噪PSNR Top10都运用深度学习方法。手机行业认定这一技术可以提升打破硬件桎梏，提升基础体验和构筑技术壁垒。

而想做好影像旗舰体验，必须打通影像的垂直整合，所有厂商在未来都必将面对垂直整合的难题，只有把整个影像链路上各个环节控制在自己手中，才能做好影像。姜波说到，垂直整合中最难的是最开始对于用户需求的判断，因为一旦判断失误，会影响后面设计芯片的所有配合和设计工作， “OPPO在移动智能设备有着多年经验，清楚知道消费者的真实需求，OPPO在影像计算单元上的最后短板正是缺乏可控的影像专用处理器。”

马里亚纳 MariSilicon X 4K视频截图 V.S. Find X3 Pro 4K视频截图

这也是OPPO选择从NPU切入自研芯片的原因，是因为只有通过影像专用NPU，才能解决目前ISP和通用算力不足难题。自研芯片能确保新技术的独特性和排他性，是差异化竞争、巩固高端形象的一大利器。结合需求来说，做NPU也比直接做SoC更符合成本预算，比ISP又难度更高。姜波认为，MariSilicon X第一次把AI的20bit RAW、4K、Ultra HDR集成在一起，“让安卓AI视频，首次拥有了4K表现；也让4K视频，第一次拥有了AI能力”，是安卓终端上计算摄影里程碑式的跃迁，相信这将为整个行业的计算影像提供一个新的标杆。

未来，马里亚纳MariSilicon X 将和通用平台一起构成手机核心运算的左右大脑，开启‘一机双芯’时代。据透露，最先搭载MariSilicon X的手机是OPPO Find X系列，将在明年一季度发布。

责编：Luffy Liu