“玲珑”i3/i5问世，ISP处理器再添中国力量

继人工智能处理器平台“周易”、物联网设备信息安全方案“山海”、以及面向物联网设备的轻量级实时处理器“星辰”之后，安谋中国日前推出全新自主知识产权的多媒体产品线——“玲珑”，并发布了该产品线的首款产品“玲珑”i3/i5 ISP处理器。

“玲珑”ISP处理器依照不同场景的数据处理需求划分为多个系列产品。首次发布的i3/i5 ISP处理器由安谋中国本土团队历时2年多自主研发，其中i3系列主要针对低功耗的轻量级应用场景，具备时钟综合频率400MHz/500万像素/60fps实时处理效果，支持2K视频处理及单路视频信号接入处理；i5系列主打中高端市场应用，采用台积电16nm工艺，具备时钟综合频率600MHz/800万像素/60fps实时处理效果，支持4K视频及多路视频信号接入处理。

未来，“玲珑”ISP处理器不但将推出更多差异化的产品系列，还可以与AI处理器相结合，在智能安防等领域达成AI+ISP的强大效果，覆盖更多市场。

从人眼看图，到机器看图

安谋中国产品研发常务副总裁刘澍在接受媒体采访时表示，多媒体应用是一个相对传统的应用领域，很多企业在音视频和图像领域有着巨大的投入和积累。尽管当前出现了很多新的应用方向，但传统多媒体领域依然存在巨大的创新空间。智慧生活中除了对清晰度、图像分辨率有新的扩展需求外，消费者对摄像头、人机交互等方面的需求也越来越多。多摄像头在手机、网联汽车、智能驾驶中也司空见惯。

“未来，图像不光要给人看，也会给机器看。”刘澍说，这意味着未来图像和机器的交互、人和机器的交互、虚拟和现实图景的交互，以及不同场景的画质处理、读者和机器的感官处理都会存在很大差异。在这样的背景下，多媒体产品会有长久且更旺盛的生命力。 

“玲珑”是安谋中国对其多媒体产品线系列的命名，既包括ISP图像处理技术，未来也会有Video Codec等技术，将和安谋中国和Arm的CPU系列、GPU系列，AI产品系列、显示产品系列统一成为整体系统解决方案。

在谈及与Arm Mali-C系列的产品关系时，刘澍回应称，作为业界唯一通过高规格车规认证的ISP处理技术，Mali-C系列ISP的定位是相当高端的。对安谋中国而言，“玲珑”ISP有多场景、高性能和高速率数据处理的特点，跟Mali-C系列存在一定的差异和补充效果。但两者开发理念非常接近，也都遵循了一致性的Arm总线协议，CPU侧的驱动、软件、调优工具完整，并且在Arm Cortex CPU框架和系统下进行过验证，所以无论是在使用习惯还是在硬件接口上，移植成本都很低。

为满足不同行业客户复杂多变的需求，“玲珑”i3/i5 ISP处理器还为客户提供了从先期评估到最终量产的全方位技术支持，包括丰富的ISP图像效果评估手段、详细的设计文档和培训支持，以及IP集成与后端的参考流程等深入的订制服务。

刘澍介绍，为了使产品呈现出更加专业的效果，安谋中国分别在深圳和上海建立了专业的图像与光学实验室，研发进度即便在疫情期间也没有放缓，还克服困难进口了价值数百万的设备，帮助客户进行调试。

“玲珑”会有多玲珑？

在汉语中，“玲珑”一词指物寓意精巧细致，指人寓意灵巧敏捷。那么，让我们看一看“玲珑”ISP处理器是否名副其实。

总体而言，“玲珑”ISP处理器支持多摄像头布局。数据进入ISP内部后会在RAW域、RGB域和YUV域上面进行各种色彩、图像的降噪处理。同时，大量的驱动与应用程序会在CPU侧运行，OS层面的优化和验证工作也已完成。最后，经过ISP前处理之后的数据被导入DDR控制器中，再对不同的运算单位进行交互。这其中包括了人工智能单元、CPU单元、视频单元和显示单元的后处理。

“玲珑”ISP处理器概览

在前期的市场反馈中，“玲珑”i3/i5 ISP处理器在业界十分看重的宽动态处理效果和信噪比处理水平上表现优异。依托安谋中国的数字宽动态与融合宽动态结合的算法技术，“玲珑”i3/i5 ISP处理器达到了像素级的局部宽动态自适应提升，并采用多尺度、多级降噪技术，以支持2D/3D自适应降噪，达到业界领先的信噪比表现。“玲珑”i3/i5 ISP处理器同时设置了丰富的系统中断和调试接口，具有低延时、低系统带宽的特点，可对图像质量进行调优技术支持。

• 硬件架构灵活可配置，客户可自行选配可选模块进行集成

强调客户的高可定制与高可配置化是安谋中国产品的特色，例如“星辰”CPU上会有用户自定义指令集，“周易”AI处理器上有人工自定义的算子等等。此番“玲珑”ISP自然也不例外。由于ISP产品包含非常复杂的降噪和宽动态处理，所以安谋中国在进行产品定义时就事先为用户预留了一定的选择空间，甚至还允许定制接口的存在。此举的目的，一是有助于形成产品的差异化，二是能够帮助用户在面对不同场景、传感器、模组、光线以及周围环境时，具备更大的可扩展性和定制空间，做出更有特色的产品。

• 出色的动态效果

按照安谋中国ISP产品经理解亮的说法，宽动态效果和低光降噪是“玲珑”ISP的主要特色。在宽动态效果方面，使用了数字宽动态和融合宽动态相结合的技术提供像素级的动态范围提升，支持DOL2/3、stagger2/3处理、不同帧之间的缝合和拼接、传统/数字化HDR处理技术；在低光降噪的方面，通过2D和3D的降噪技术，例如亮度降噪、色度降噪、时域降噪、3DNR多帧图像融合等手段，给客户提供多尺度、多级降噪效果。

下面的几个示例，展示了“玲珑”ISP处理器在不同的噪音、光线、色彩域、亮度域、时间域上的降噪效果。

WDR效果

普通12-bit线性图像传感器只能提供72dB的动态范围效果，在一些高动态范围场景下无法很好展示出整张图片的所有细节，如图左侧所示；右侧则是经过“玲珑”ISP处理后的输出效果，细节丰富了很多，动态范围也得到了提升。

高光抑制

黑暗场景中的高光凸现是很多行业难以解决的痛点，上图左侧是一个普通12-bit图像传感器直出的效果，右侧是经过“玲珑”ISP处理之后的效果，可以看到整个图像背景细节有很大提升，并且抑制了高光产生的不良效果。

从左至右依次为：普通图像传感器直出/“玲珑”ISP一级降噪/“玲珑”ISP二级降噪

去紫边效果

现实生活中，当图像明暗反差很大时，由于色散效应，容易在明暗交替的边缘出现紫边现象。上图左侧是普通图像传感器直出效果，右侧是经过“玲珑”ISP去紫边模块处理的效果，可以看到不但基本消除紫边，而且不会损伤整个图像的任何细节。

以上这些处理能力均是在静态拍摄条件下所展示。在智能驾驶领域，尽管ISP应用已经非常广泛，但较差的光线条件同样会造成相对较低的成像准确率，“玲珑”ISP在汽车应用领域是否有相应的对策？

“显然是有的。”刘澍回应称，“玲珑”ISP的强光抑制功能就是非常典型的应用场景，无论是静态还是动态条件下，都能把强光抑制下去，并且还能把周围的场景分辨得很清晰。这一宽动态处理技术在车载应用中也将得到广泛使用。“玲珑”ISP之所以配备60帧/秒实时处理能力和高速运算能力，就是不仅希望拍出完美照片，而且数据处理速度还能与汽车的高速驾驶状态相匹配。

未来会做一颗SoC芯片吗？

有了AI处理器、安全平台、CPU，再加上ISP处理器，安谋中国自研IP产品越来越完整，构建一颗SoC芯片的核心构件似乎也已经齐备，那么，安谋中国未来会不会推出一颗SoC芯片？ 

“作为一个IP提供商，安谋中国不会触碰最后的芯片设计和生产。”刘澍在回答记者提问时，给出了否定的回答。他表示，安谋中国希望为中国芯片设计公司提供出色的技术平台，而不是去做芯片。这是公司的定位和价值所在，这一原则是不会改变的。

刘澍认为，媒体之所以会有这样的疑问，也是看出了安谋中国在产品定义方面存在的内在逻辑。他对《电子工程专辑》表示：单点产品要有优势，但只有把整个系统集合起来才能体现最后完整的优化方案。这其中包含的不仅仅是图像交给谁处理、给谁来看的问题，还涉及很多构件之间的相互协同。

例如在“玲珑”ISP i3/i5的设计中，流水线是开放式的。有客户曾建议可以通过流水线先做数据输出，经过处理后再输入，再进行后处理。尽管这是非常中肯的建议，也是行业共识，但在多媒体的数据流里，依据场景的需求往往通过不同的数据和模块来进行数据运算与分析，常见的思路是用CPU进行中央处理和调控，ISP进行图像摄入，由AI、GPU和CPU共同执行不同数据的分析和处理，最后形成输出。此外还要考虑安全性问题。所以必须进行通盘考虑，才能提出最优化方案。

关于产品是否会受出口管制问题，刘澍表示，尽管国家间的进出口管制规则不断变化，但在目前的管制规则下，安谋中国相关IP产品不受美国进出口管制限制。接下来，工程团队会与法律部门密切合作，依法依规地进行数据分析、法务分析和商务合作，不断跟踪最新进展。