肇观电子基于AI视觉芯片的3D人脸识别模组通过BCTC增强级检测

人们对 “清华事件” 的高关注，透露出的是对人脸识别安全性的担忧。

BCTC国家金融科技测评中心当即做出增加真人攻击测试项的决定，即，完全仿照清华大学“眼睛照片贴在眼镜上，并佩戴在真人脸上”的攻击手段，看看厂家送检的模组算法是否能够辨识出来，于2月18日增加考题，当天划出一道生死分水岭。

凭借着低功耗高性能的主控AI视觉芯片NE-D163A强悍的硬件平台，特别是芯片内置硬件Depth内核和AI CNN计算模块强大的运算性能、以及超高精度的几何计算能力，配合自研的Depth + 双IR + RGB质控多模态融合活检算法，于2021年4月20日通过BCTC国家金融支付增强级安全标准。该模组提供了完整的金融级前端活体检测能力，并开放充分的扩展能力供客户进行端侧AI的二次开发。

▲ 肇观电子通过BCTC检测报告

BCTC活体检测主要是对不同攻击手段进行检测，辨别出纸质/非纸质/屏幕（平面）是否是真人；不同材质的头模、头套或3D打印（立体），是否是活体；以及真人是否会被误拒。

检测中心采用的攻击数量达到4万笔，在强光、弱光、逆光、阴阳光、正常光等不同光照环境下，使用二维静态纸质/非纸质图像、二维静态/动态电子图像、三维面具/头模、人脸区域不完整、人脸活体等手段进行攻击。其中仿真头模全部按照真实人脸一比一制作。

需要强调的是，2月18日之后增加真人攻击测试项，被测物体的材质（真人皮肤）、特征、五官凹凸都可以轻而易举的将此前通过BCTC检测的算法攻破。

▲ 图片来源于芯东西

任何算法在实际的AI终端产品开发中，评估、迁移、部署、以及高速迭代，都要耗费巨大的时间和人力成本，如果脱离了强悍的硬件支持，再厉害的算法也无法充分发挥出它的优势。

本次送检的深度人脸模组搭载的是肇观自主研发的AI 视觉芯片NE-D163A, 芯片在支持最高1.2TOPS AI卷积算力的同时，自带硬件Depth内核，能够高效提供60FPS的VGA分辨率深度图像，在人脸识别目标距离内0.3~1.2米内，提供毫米级深度精度供做活体检测判断。

▲ 肇观电子AI视觉芯片NE-D163A

在AI计算效率FPS/TOPS已经逐渐成为了业内公认的比名义算力更值得关注的因素的时候，就不得不秀一下这颗芯片的AI计算效率。

根据不同算法网络的测试结果，NE-D163A每TOPS算力下每秒可推理图片的数量展示出了业界领先的水平。

▲ 在FP16的精度下，

NE-D163A跑各种网络可以达到的每秒帧数

▲ 在INT8的精度下，

NE-D163A跑各种网络可以达到的每秒帧数

对于一款AI芯片来说，除了过硬的计算性能，计算精度也是一个需要考虑的重要指标。

这是因为在人脸识别算法模型的训练、部署过程中，数据类型转换导致的精度损失会使成本上升。

下图展示了FP16/INT8 数据格式下，NE-D163A具有前所未有的FPS/TOPS利用率，FP16无精度损失，INT8精度损失<1%。

▲ 针对七种算法网络，

 INT8量化网络几乎无精度损失

最后要强调的是，NE-D163A是一颗完整的SoC主控芯片，其具有CPU，DSP，ISP，Codec，CV加速引擎，MCU，AI计算引擎和丰富的接口等在内的一系列组件，支持Linux和RTOS操作系统，是一款适合作为信号处理的核心芯片。

有了核心芯片，还需要与之匹配的硬件模组强强联手。

3D人脸识别模组NE-DMF-K1采用一体化设计，包括主控模组和镜头模组，使用NE-D163A为主芯片，配置128MB内存和32MB/64MB闪存，同时支持2路2MP红外摄像和1路2MP可见光摄像头同时接入。

▲送检BCTC的肇观电子NE-DMF-K1模组

该模组可应用于金融和安防市场的前端活检应用，同样技术也适配门锁等电池类产品，在保持金融级别活检和识别的前提下，通过优化设计能够达到0.2秒内冷机快起和0.3秒内完成单次人体和人脸检测、活体检测、人脸辨识。

有了强大的硬件支持，算法就可以在广阔的“舞台”上任意发挥，肇观电子本次过检搭配的自研3D人脸活检算法为CVLib-FL-DRIR，采用了多模态融合的活检算法，在端侧同时完成了3D Depth的深度活体检测和近红外的活体攻击防御。

具体可以用一张流程图来解释：

▲人脸识别算法流程图

第一层防攻击手段采用的是940nm近红外活检防御。由于不同材质对IR红外光反射的属性不同，IR活体考察的是被测物品的材料，因此可以有效的拦截橡胶面具、头模等低频率高成本的3D模型攻击。

而940nm红外光谱NIR近红外能够保证在逆光、高光、阴阳光下的图像成像依然清晰，且基本不受自然光的光照环境影响。(BCTC检测结果见下方截图 4.1.2.6)

第二层是将双IR摄像头采集来的视频流进行Depth成像，模仿人眼左右眼视差可将前方图像进行几何成像的原理，用于防御所有二维图像攻击，例如手机、照片这种高频率低成本的攻击手段。

芯片自带硬件Depth内核，能够高效提供60FPS的VGA分辨率深度图像。在人脸识别目标距离内0.3~1.2米内，能够提供毫米级深度精度。（ BCTC检测结果见下方截图4.1.2.1/4.1.2.2/ 4.1.2.4 )

第三层是基于RGB的人脸质控模块，确保采集到的图分辨率大，以确保细节不丢失；整体图像清晰度高，屏蔽掉因运动引起的拖影现象；在逆光强光或者阴阳光下，或者不同姿态表情和遮挡的环境下，都能通过芯片ISP特有的人脸曝光技术确保人脸部位图像质量。同时也用来防御红外图或灰度图的特定攻击手段。（ BCTC检测结果见下方截图4. 2. 2 /4.1.3.1)

基于以上三重防攻击活检算法，肇观电子送检BCTC的人脸识别模组NE-DMF-K1，FAR 误识率远低于0.1%，FRR拒识率远低于1%增强级标准。

▲ BCTC增强级检测结果概况

以下是检测报告中具体的成绩单。检测结果显示：二维纸质/非纸质/静态/非静态，三维面具/头模，人脸区域不完整等攻击手法，错误拒绝率和正确接受率都达到了100%。