探秘人脸识别技术

自从iPhone 8启用人脸识别解锁首先应用在消费类电子产品上之后，到现在人脸识别已经在各种应用环境中使用，且技术越来越成熟和灵敏。 那么，什么是人脸识别技术？这到底会给我们的生活带来怎样的改变呢？ 

人脸识别技术，是基于人的脸部特征信息进行身份识别的一种生物识别技术。用摄像机或摄像头采集含有人脸的图像或视频流，并自动在图像中检测和跟踪人脸，进而对检测到的人脸进行脸部的一系列相关技术，通常也叫做人像识别、面部识别。传统的人脸识别技术主要是基于可见光图像的人脸识别，这也是人们熟悉的识别方式。简单的来说就是一个让计算机认出你的过程。

人脸识别技术主要是通过人脸图像特征的提取与对比来进行的。人脸识别系统将提取的人脸图像的特征数据与数据库中存储的特征模板进行搜索匹配，通过设定一个阈值，当相似度超过这一阈值，则把匹配得到的结果输出。将待识别的人脸特征与已得到的人脸特征模板进行比较，根据相似程度对人脸的身份信息进行判断。这一过程又分为两类：一类是确认，是一对一进行图像比较的过程，另一类是辨认，是一对多进行图像匹配对比的过程。

广义的人脸识别实际包括构建人脸识别系统的一系列相关技术，包括人脸图像采集、人脸定位、人脸识别预处理、身份确认以及身份查找等；而狭义的人脸识别特指通过人脸进行身份确认或者身份查找的技术或系统。

传统的人脸识别技术主要是基于可见光图像的人脸识别，这也是人们最熟悉的识别方式，已有30多年的研发历史。但这种方式有着难以克服的缺陷，尤其在环境光照发生变化时，识别效果会急剧下降，无法满足实际系统的需要。解决光照问题的方案有三维图像人脸识别，和热成像人脸识别。但这两种技术还远不成熟，识别效果不尽人意。

迅速发展起来的一种解决方案是基于主动近红外图像的多光源人脸识别技术。它可以克服光线变化的影响，已经取得了卓越的识别性能，在精度、稳定性和速度方面的整体系统性能超过三维图像人脸识别。这项技术在近两三年发展迅速，使人脸识别技术逐渐走向实用化。

人脸与人体的其它生物特征（指纹、虹膜等）一样与生俱来，它的唯一性和不易被复制的良好特性为身份鉴别提供了必要的前提。

与其它类型的生物识别比较人脸识别具有如下特点：

非强制性：用户不需要专门配合人脸采集设备，几乎可以在无意识的状态下就可获取人脸图像，这样的取样方式没有“强制性”；

非接触性：用户不需要和设备直接接触就能获取人脸图像；

并发性：在实际应用场景下可以进行多个人脸的分拣、判断及识别；

除此之外，还符合视觉特性：“以貌识人”的特性，以及操作简单、结果直观、隐蔽性好等特点。

人脸识别系统主要包括四个组成部分，分别为：人脸图像采集及检测、人脸图像预处理、人脸图像特征提取以及匹配与识别。

人脸图像采集：不同的人脸图像都能通过摄像镜头采集下来，比如静态图像、动态图像、不同的位置、不同表情等方面都可以得到很好的采集。当用户在采集设备的拍摄范围内时，采集设备会自动搜索并拍摄用户的人脸图像。

人脸检测：人脸检测在实际中主要用于人脸识别的预处理，即在图像中准确标定出人脸的位置和大小。人脸图像中包含的模式特征十分丰富，如直方图特征、颜色特征、模板特征、结构特征及Haar特征等。人脸检测就是把这其中有用的信息挑出来，并利用这些特征实现人脸检测。

主流的人脸检测方法基于以上特征采用Adaboost学习算法，Adaboost算法是一种用来分类的方法，它把一些比较弱的分类方法合在一起，组合出新的很强的分类方法。

人脸检测过程中使用Adaboost算法挑选出一些最能代表人脸的矩形特征(弱分类器)，按照加权投票的方式将弱分类器构造为一个强分类器，再将训练得到的若干强分类器串联组成一个级联结构的层叠分类器，有效地提高分类器的检测速度。

人脸图像预处理：对于人脸的图像预处理是基于人脸检测结果，对图像进行处理并最终服务于特征提取的过程。系统获取的原始图像由于受到各种条件的限制和随机 干扰，往往不能直接使用，必须在图像处理的早期阶段对它进行灰度校正、噪声过滤等图像预处理。对于人脸图像而言，其预处理过程主要包括人脸图像的光线补 偿、灰度变换、直方图均衡化、归一化、几何校正、滤波以及锐化等。

人脸图像特征提取：人脸识别系统可使用的特征通常分为视觉特征、像素统计特征、人脸图像变换系数特征、人脸图像代数 特征等。人脸特征提取就是针对人脸的某些特征进行的。人脸特征提取，也称人脸表征，它是对人脸进行特征建模的过程。人脸特征提取的方法归纳起来分为两大 类：一种是基于知识的表征方法；另外一种是基于代数特征或统计学习的表征方法。

基于知识的表征方法主要是根据人脸器官的形状描述以及他们之间的距离特性来获得有助于人脸分类的特征数据，其特征分 量通常包括特征点间的欧氏距离、曲率和角度等。人脸由眼睛、鼻子、嘴、下巴等局部构成，对这些局部和它们之间结构关系的几何描述，可作为识别人脸的重要特 征，这些特征被称为几何特征。基于知识的人脸表征主要包括基于几何特征的方法和模板匹配法。

人脸图像匹配与识别：提取的人脸图像的特征数据与数据库中存储的特征模板进行搜索匹配，通过设定一个阈值，当相似度超过这一阈值，则把匹配得到的结果输 出。人脸识别就是将待识别的人脸特征与已得到的人脸特征模板进行比较，根据相似程度对人脸的身份信息进行判断。这一过程又分为两类：一类是确认，是一对一 进行图像比较的过程，另一类是辨认，是一对多进行图像匹配对比的过程。

基于特征的人脸检测技术

通过采用颜色、轮廓、纹理、结构或者直方图特征等进行人脸检测。

基于模板匹配人脸检测技术

从数据库当中提取人脸模板，接着采取一定模板匹配策略，使抓取人脸图像与从模板库提取图片相匹配，由相关性的高低和所匹配的模板大小确定人脸大小以及位置信息。

基于统计的人脸检测技术

通过对于“人脸”和“非人脸”的图像大量搜集构成的人脸正、负样本库，采用统计方法强化训练该系统，从而实现对人脸和非人脸的模式进行检测和分类。

几何特征

从面部点之间的距离和比率作为特征，识别速度快，内存要求比较小，对于光照敏感度降低。

基于模型特征

根据不同特征状态所具有概率不同而提取人脸图像特征。

基于统计特征

将人脸图像视为随机向量，并用统计方法辨别不同人脸特征模式，比较典型的有特征脸、独立成分分析、奇异值分解等。

基于神经网络特征

利用大量神经单元对人脸图像特征进行联想存储和记忆，根据不同神经单元状态的概率实现对人脸图像准确识别。

人脸识别是根据所提取的人脸图像特征采用相关识别算法进行人脸确认或辨别。即将已检测到的待识别人脸与数据库中已知人脸进行比较匹配，得出相关信息，该过程的关键是选择适当的人脸表征方式与匹配策略，系统的构造与人脸的表征方式密切相关。一般根据所提特征而选择不同识别算法进行度量，常用的包括距离度量、支持向量机、神经网络、k均值聚类等。

主流的人脸识别技术基本上可以归结为三类，即：基于几何特征的方法、基于模板的方法和基于模型的方法。

1、基于几何特征的方法是最早、最传统的方法，通常需要和其他算法结合才能有比较好的效果；

2、基于模板的方法可以分为基于相关匹配的方法、特征脸方法、线性判别分析方法、奇异值分解方法、神经网络方法、动态连接匹配方法等。

3、基于模型的方法则有基于隐马尔柯夫模型，主动形状模型和主动外观模型的方法等。

 基于几何特征的方法

人脸由眼睛、鼻子、嘴巴、下巴等部件构成，正因为这些部件的形状、大小和结构上的各种差异才使得世界上每个人脸千差万别，因此对这些部件的形状和结构关系的几何描述，可以做为人脸识别的重要特征。

几何特征最早是用于人脸侧面轮廓的描述与识别，首先根据侧面轮廓曲线确定若干显著点，并由这些显著点导出一组用于识别的特征度量如距离、角度等。Jia 等由正面灰度图中线附近的积分投影模拟侧面轮廓图是一种很有新意的方法。

采用几何特征进行正面人脸识别一般是通过提取人眼、口、鼻等重要特征点的位置和眼睛等重要器官的几何形状作为分类特征,但对几何特征提取的精确性进行了实验性的研究，结果不容乐观。

可变形模板法可以视为几何特征方法的一种改进，其基本思想是：设计一个参数可调的器官模型 (即可变形模板),定义一个能量函数，通过调整模型参数使能量函数最小化，此时的模型参数即做为该器官的几何特征。

这种方法思想很好，但是存在两个问题，一是能量函数中各种代价的加权系数只能由经验确定，难以推广，二是能量函数优化过程十分耗时，难以实际应用。 基于参数的人脸表示可以实现对人脸显著特征的一个高效描述，但它需要大量的前处理和精细的参数选择。同时，采用一般几何特征只描述了部件的基本形状与结构关系，忽略了局部细微特征，造成部分信息的丢失，更适合于做粗分类，而且目前已有的特征点检测技术在精确率上还远不能满足要求，计算量也较大。 

特征脸方法

特征脸方法是90年代初期由Turk和Pentland提出的目前最流行的算法之一，具有简单有效的特点， 也称为基于主成分分析(principal component analysis,简称PCA)的人脸识别方法。

特征脸技术的基本思想是：从统计的观点，寻找人脸图像分布的基本元素，即人脸图像样本集协方差矩阵的特征向量，以此近似地表征人脸图像。这些特征向量称为特征脸(Eigenface)。

实际上，特征脸反映了隐含在人脸样本集合内部的信息和人脸的结构关系。将眼睛、面颊、下颌的样本集协方差矩阵的特征向量称为特征眼、特征颌和特征唇，统称特征子脸。特征子脸在相应的图像空间中生成子空间，称为子脸空间。计算出测试图像窗口在子脸空间的投影距离，若窗口图像满足阈值比较条件，则判断其为人脸。

基于特征分析的方法，也就是将人脸基准点的相对比率和其它描述人脸脸部特征的形状参数或类别参数等一起构成识别特征向量，这种基于整体脸的识别不仅保留了人脸部件之间的拓扑关系，而且也保留了各部件本身的信息，而基于部件的识别则是通过提取出局部轮廓信息及灰度信息来设计具体识别算法。现在Eigenface(PCA)算法已经与经典的模板匹配算法一起成为测试人脸识别系统性能的基准算法；而自1991年特征脸技术诞生以来，研究者对其进行了各种各样的实验和理论分析，FERET'96测试结果也表明，改进的特征脸算法是主流的人脸识别技术，也是具有最好性能的识别方法之一。

该方法是先确定眼虹膜、鼻翼、嘴角等面像五官轮廓的大小、位置、距离等属性，然后再计算出它们的几何特征量，而这些特征量形成一描述该面像的特征向量。其技术的核心实际为“局部人体特征分析”和“图形/神经识别算法。”这种算法是利用人体面部各器官及特征部位的方法。如对应几何关系多数据形成识别参数与数据库中所有的原始参数进行比较、判断与确认。Turk和Pentland提出特征脸的方法，它根据一组人脸训练图像构造主元子空间，由于主元具有脸的形状，也称为特征脸  ,识别时将测试  图像投影到主元子空间上，得到一组投影系数，和各个已知人的人脸图像比较进行识别。Pentland等报告了相当好的结果，在 200个人的 3000幅图像中得到 95%的正确识别率，在ＦＥＲＥＴ数据库上对 150幅正面人脸象只有一个误识别。但系统在进行特征脸方法之前需要作大量预处理工作如归一化等。

传统特征脸的基础上，研究者注意到特征值大的特征向量 (即特征脸 )并不一定是分类性能好的方向，据此发展了多种特征 (子空间 )选择方法，如Peng的双子空间方法、Weng的线性歧义分析方法、Belhumeur的FisherFace方法等。事实上，特征脸方法是一种显式主元分析人脸建模，一些线性自联想、线性压缩型ＢＰ网则为隐式的主元分析方法，它们都是把人脸表示为一些向量的加权和，这些向量是训练集叉积阵的主特征向量，Valentin对此作了详细讨论。总之，特征脸方法是一种简单、快速、实用的基于变换系数特征的算法，但由于它在本质上依赖于训练集和测试集图像的灰度相关性，而且要求测试图像与训练集比较像，所以它有着很大的局限性。

基于KL 变换的特征人脸识别方法

KL变换是图象压缩中的一种最优正交变换，人们将它用于统计特征提取，从而形成了子空间法模式识别的基础，若将KL变换用于人脸识别，则需假设人脸处于低维线性空间，且不同人脸具有可分性，由于高维图象空间KL变换后可得到一组新的正交基，因此可通过保留部分正交基，以生成低维人脸空间，而低维空间的基则是通过分析人脸训练样本集的统计特性来获得，KL变换的生成矩阵可以是训练样本集的总体散布矩阵，也可以是训练样本集的类间散布矩阵，即可采用同一人的数张图象的平均来进行训练，这样可在一定程度上消除光线等的干扰，且计算量也得到减少，而识别率不会下降。

基于弹性模型的方法

Llades等人针对畸变不变性的物体识别提出了动态链接模型 (ＤＬＡ)，将物体用稀疏图形来描述 ，其顶点用局部能量谱的多尺度描述来标记，边则表示拓扑连接关系并用几何距离来标记，然后应用塑性图形匹配技术来寻找最近的已知图形。Ｗｉｓｃｏｔｔ等人在此基础上作了改进，用ＦＥＲＥＴ图像库做实验，用 300幅人脸图像和另外 300幅图像作比较，准确率达到 97.3%。此方法的缺点是计算量非常巨大 。

 Nastar将人脸图像 (Ⅰ ) (ｘ，ｙ)建模为可变形的 3Ｄ网格表面 (ｘ，ｙ，Ｉ(ｘ，ｙ) )，从而将人脸匹配问题转化为可变形曲面的弹性匹配问题。利用有限元分析的方法进行曲面变形，并根据变形的情况判断两张图片是否为同一个人。这种方法的特点在于将空间 (ｘ，ｙ)和灰度Ｉ(ｘ,ｙ)放在了一个 3Ｄ空间中同时考虑，实验表明识别结果明显优于特征脸方法。

 Lanitis等提出灵活表现模型方法，通过自动定位人脸的显著特征点将人脸编码为 83个模型参数，并利用辨别分析的方法进行基于形状信息的人脸识别。弹性图匹配技术是一种基于几何特征和对灰度分布信息进行小波纹理分析相结合的识别算法，由于该算法较好的利用了人脸的结构和灰度分布信息，而且还具有自动精确定位面部特征点的功能，因而具有良好的识别效果，适应性强识别率较高，该技术在FERET测试中若干指标名列前茅，其缺点是时间复杂度高，速度较慢，实现复杂。

神经网络方法

人工神经网络是一种非线性动力学系统，具有良好的自组织、自适应能力。目前神经网络方法在人脸识别中的研究方兴未艾。Valentin提出一种方法，首先提取人脸的 50个主元，然后用自相关神经网络将它映射到 5维空间中，再用一个普通的多层感知器进行判别，对一些简单的测试图像效果较好；Intrator等提出了一种混合型神经网络来进行人脸识别，其中非监督神经网络用于特征提取，而监督神经网络用于分类。

Lee等将人脸的特点用六条规则描述，然后根据这六条规则进行五官的定位，将五官之间的几何距离输入模糊神经网络进行识别，效果较一般的基于欧氏距离的方法有较大改善，Laurence等采用卷积神经网络方法进行人脸识别，由于卷积神经网络中集成了相邻像素之间的相关性知识，从而在一定程度上获得了对图像平移、旋转和局部变形的不变性，因此得到非常理想的识别结果，Lin等提出了基于概率决策的神经网络方法 (PDBNN),其主要思想是采用虚拟 (正反例 )样本进行强化和反强化学习，从而得到较为理想的概率估计结果，并采用模块化的网络结构 (OCON)加快网络的学习。

这种方法在人脸检测、人脸定位和人脸识别的各个步骤上都得到了较好的应用，其它研究还有 :Dai等提出用Hopfield网络进行低分辨率人脸联想与识别，Gutta等提出将RBF与树型分类器结合起来进行人脸识别的混合分类器模型，Phillips等人将MatchingPursuit滤波器用于人脸识别，国内则采用统计学习理论中的支撑向量机进行人脸分类。

经网络方法在人脸识别上的应用比起前述几类方法来有一定的优势，因为对人脸识别的许多规律或规则进行显性的描述是相当困难的，而神经网络方法则可以通过学习的过程获得对这些规律和规则的隐性表达，它的适应性更强，一般也比较容易实现。因此人工神经网络识别速度快，但识别率低 。而神经网络方法通常需要将人脸作为一个一维向量输入，因此输入节点庞大，其识别重要的一个目标就是降维处理。

其它算法：

除了以上几种方法，人脸识别还有其它若干思路和方法，包括一下一些：

1、隐马尔可夫模型方法

2、 Gabor 小波变换+图形匹配

（1）精确抽取面部特征点以及基于Gabor引擎的匹配算法，具有较好的准确性，能够排除由于面部姿态、表情、发型、眼镜、照明环境等带来的变化。

（2）Gabor滤波器将Gaussian网络函数限制为一个平面波的形状，并且在滤波器设计中有优先方位和频率的选择，表现为对线条边缘反应敏感。

（3）但该算法的识别速度很慢，只适合于录象资料的回放识别，对于现场的适应性很差。

3、人脸等密度线分析匹配方法

（1） 多重模板匹配方法

该方法是在库中存贮若干标准面像模板或面像器官模板，在进行比对时，将采样面像所有象素与库中所有模板采用归一化相关量度量进行匹配。

（2） 线性判别分析方法

（3）本征脸法：本征脸法将图像看做矩阵 ,计算本征值和对应的本征向量作为代数特征进行识别 ,具有无需提取眼嘴鼻等几何特征的优点 ,但在单样本时识别率不高 ,且在人脸模式数较大时计算量大 

4、特定人脸子空间(FSS)算法

该技术来源于但在本质上区别于传统的"特征脸"人脸识别方法。"特征脸"方法中所有人共有一个人脸子空间，而该方法则为每一个体人脸建立一个该个体对象所私有的人脸子空间，从而不但能够更好的描述不同个体人脸之间的差异性，而且最大可能地摈弃了对识别不利的类内差异性和噪声，因而比传统的"特征脸算法"具有更好的判别能力。另外，针对每个待识别个体只有单一训练样本的人脸识别问题，提出了一种基于单一样本生成多个训练样本的技术，从而使得需要多个训练样本的个体人脸子空间方法可以适用于单训练样本人脸识别问题。

5、奇异值分解(singular value decomposition,简称SVD)

这是一种有效的代数特征提取方法。由于奇异值特征在描述图像时是稳定的,且具有转置不变性、旋转不变性、位移不变性、镜像变换不变性等重要性质,因此奇异值特征可以作为图像的一种有效的代数特征描述。奇异值分解技术已经在图像数据压缩、信号处理和模式分析中得到了广泛应用。