利用判别共同向量方法选取ROI的面部遮挡人脸识别
开篇：润墨网以专业的文秘视角，为您筛选了一篇利用判别共同向量方法选取ROI的面部遮挡人脸识别范文，如需获取更多写作素材，在线客服老师一对一协助。欢迎您的阅读与分享！
摘 要： 人脸识别中面部遮挡易影响识别性能，针对该问题提出一种判别共同向量方法。该方法利用DWT对训练图像进行预处理，利用DCVA提取特征以确定感兴趣区域，计算测试图像与训练图像之间的多流形距离，并利用稀疏重建系数和最近邻分类器完成识别。在AR及LFW人脸数据库上的实验结果表明，该方法的识别率可高达99%，相比其他几种较新的面部遮挡识别方法取得了更高的识别率，同时减少了识别所耗的时间。
关键词： 面部遮挡； 人脸识别； 判别共同向量方法； 稀疏重建系数； 感兴趣区域
中图分类号： TN911.73?34； TP391.4 文献标识码： A 文章编号： 1004?373X（2016）03?0035?04
Face recognition to select covered face of ROI by DCVA
LIU Xiaowei1， HUANG Miao2
（1. Office of Scientific Research， Dongguan University of Technology， Dongguan 523808， China；
2. College of Software， Pingdingshan University， Pingdingshan 467000， China）
Abstract： Since the face covering may influence on the recognition performance in face recognition， a discriminative common vector approach （DCVA） is proposed. The DWT is used to pre?process the training images by the approach， and DCVA is used to extract the feature to determine the region of interest （ROI）. The multi?manifold distance between the testing image and training image is calculated， and then recognized with sparse reconstruction coefficient and nearest neighbor classifier. The experimental results for AR and LFW face database show that the recognition accuracy of the proposed method can reach up to 99%. Compared with other advanced recognition methods， this approach has higher recognition accuracy， and can reduce the recognition time.
Keywords： face covering； face recognition； discriminative common vector approach； sparse reconstruction coefficient； region of interest
0 引 言
人脸识别已在军事、安全、医学等领域得到广泛应用，许多方法在非限制条件下可取得不错的识别效果[1]。然而，在设计局部特征时容易忽略由太阳镜、围巾等引起的人脸特定遮挡，高度非线性和不可预知变化使得人脸识别仍然是一个具有挑战性的问题[2?3]。
本文通过判别共同向量方法（Discriminative Common Vector Approach，DCVA）引入了一种有效的特征选取方法，将额外信息与DCVA算法进行结合，选取感兴趣区域（Region of Interest，roi）[4]，将识别问题转化为求解测试图像与训练图像之间的多流形距离问题。所有类别的共同向量均由投影矩阵组成，投影矩阵的列范数决定了像素点的重要性。一些像素点与含有最小范数的列相对应，由于这些像素点的分布对于分类标准来说微不足道，因此将其省略。其他像素点与含有最大范数的列相对应，利用这些像素点构建降维特征向量。实验结果表明，选取的特征点在识别过程中发挥了重要作用，本文方法明显提高了分类精度，并减少了识别所耗的时间。
1 相关研究
针对面部遮挡人脸识别问题，学者们提出了许多方法，例如，文献[5]提出一种概率方法，可为不精确局部化、部分遮挡和表情变化人脸做出补偿，为了处理局部遮挡问题，将人脸图像划分成局部块进行分析，提高了识别率。文献[6?7]利用LBP特征处理遮挡变化，通过使用支持向量机（Support Vector Machine，SVM）为检测遮挡区域执行一个单独的训练过程，可检测出被遮挡区域中的LBP特征，并将它们从识别阶段排除出去。然而，检测遮挡的训练模块需要包含遮挡的训练数据，这对学习阶段未表现出的各类局部变化具有鲁棒性是很困难的。这些方法主要侧重于局部遮挡并涉及一个专门为检测和排除遮挡设计的模块。文献[8]提出一个合并的相似度度量，使用局部Gabor二值模式（Local Gabor Binary Pattem，LGBP）特征和遮挡的可能性，这些算法可在一定程度上解决面部遮挡人脸识别问题，但是，很难兼顾鲁棒性和保持原始图像的核心信息。文献[9]提出了DCVA，利用所有特征类含有的共同向量进行人脸识别，提高了面部表情的识别率。为了更好地解决面部遮挡问题，提出了一种基于DCVA的识别方法。
2 辨别共同向量方法
DCVA通过利用类内样本离散矩阵的和来获取共同向量，设训练集由[C]个类构成，包含于[SW]非零特征值的特征向量为[vi，i=1，2，…，C（m-1）]，该特征向量在训练集中贯穿于所有特征向量的不同子空间。与从属于0特征值的特征向量[vi，i=C（m-1）+1，…，n]类似，该特征向量在相似的训练集中将贯穿于所有特征向量的无差异子空间。因此，无差异子空间上的投影矩阵可由特征向量构成，具体过程如下：
无差异子空间上特征向量的投影利用该投影矩阵为每个类生成都有的共同向量[10]，具体过程如下：
构建共同向量的不同子空间，该子空间的正交标准基既能在Gram?Schmidt正交化[11]过程中获得，也可通过共同向量的离散矩阵获得。若想使用离散矩阵方法，则必须先计算共同向量的离散矩阵：
式中：[μcom]表示共同向量均值。共同向量不同子空间上的投影矩阵为[W，]利用对应于[Scom]零特征值的特征向量[wi，i=1，2，…，C-1，]可获得[W=w1，w2，…，wC-1T，]利用最近邻分类器实现分类，即按照下列准则对[xtest]分类：
式中：[W]表示共同向量不同子空间上的[（C-1）×n]维投影矩阵；[Ωi]表示第[i]类的判别共同向量。
3 提出的方法
3.1 特征提取
利用DWT进行预处理，利用DCVA提取特征，并确定感兴趣区域。假设各个像素点的灰度值对识别起不同的作用，根据各个像素点的灰度值，部分特征或像素可从人脸图像中消除，且消除后不会对识别率产生较大影响。为了实现该想法，使用转换矩阵或投影矩阵[W，]因为投影矩阵可将初始[n]维训练数据投影到共同向量的[C-1]维子空间，意味着可由共同向量[Scom]的类内样本离散矩阵得到投影矩阵[W。]
[W=wT1wT2?wTC-1] （6）
式中：[w]表示当[i=1，2，…，C-1]时的基向量，贯穿于[Scom]的不同子空间；[W]是[（C-1）×n]维的矩阵，它的元素如下：
式（7）中，若将[W]的第[i]列表示为[zi，][zi]是一个[（C-1）×1]维向量，则[W]可用它的列向量表示，即[W=z1z2…zn]。使用[a=a1a2…anT]表示[n]维人脸图像向量，其中，每一个[ai，i=1，2，…，n]对应于人脸图像中的像素灰度，表示人脸图像向量的第[i]个特征。
将[W]与人脸图像上的对应像素点灰度值相乘：
由式（8），式（9）可以看出，任何人脸图像向量在共同向量不同子空间上的投影均为[W]的列向量所有像素灰度乘积的总和，即[Wa]中的元素为人脸图像向量特征[a]的线性组合。
[a]的第[i]个特征[ai]的重要性与[z]的第[i]个列向量有十分密切的联系。若[zi]中的所有值都为0，则[ai]对被投影的人脸图像向量发挥不了任何作用，进一步可以消除第[i]个元素或特征。
使用[w1，w2，…，wC-1]和[v1，v2，…，vC-1]表示[Scom]范围空间的不同标准正交基向量的集合，利用这两个标准正交基集合分别得到各自的转换矩阵[W，]可以发现，[W]列向量准则级别的顺序没有发生变化。
由于子空间的基向量集并不惟一，因此，若选取不同的基向量，则会影响特征（或相对应的像素点）的重要级别。因此，虽然构成转换矩阵[W]的基向量集并不惟一，但是列向量准则级别的顺序不会改变[12]。基于这个事实，像素点重要级别不会因为选取不同的基向量集而改变。
3.2 识别
给定一个测试样本[T，]将其与训练样本建模为流形[MT=[xT1，xT2，…，xTt]]，给[MT]分配一个标记[c]：
若不充分利用所有样本计算流形的距离，则会丢失一部分样本的信息。
设[yi=WiTMi=[yi1，yi2，…，yit]]和[yT=WiTMT=[yT1，yT2，…，yTt]]是流形[Mi]和[MT]经[Wi]投影后的低维子空间表示形式，流形距离可表示为：
式中：[Sk（yTj）]表示[yTj]在[yi]中的[k]近邻，图中[k]值取3，[d（yTj，Sk（yTj））]可通过解决下面的优化问题很容易地得到：
式中：[cs]为近邻[Ssk（yTj）]对[yTj]的稀疏重建系数[13]，再利用最近邻分类器进行识别。
4 实 验
实验使用LFW[14]和AR[15]人脸数据库对本文方法进行评估，所有实验均在拥有3.00 GHz主频、1 GB内存、Windows XP SP3操作系统的个人PC机上完成，编程环境为Matlab 7.0。
4.1 数据库
AR数据库由126个人的正面人脸超过3 200幅彩色图像组成：70个男性和56个女性，每个人有26幅不同的图像，对于每个对象，间隔两周在两个不同会话采集图像，每个会话由13幅图像组成，脸部表情、光照和局部遮挡各有不同。通过预处理，获得与眼睛位置手动配准的图像，配准之后，人脸图像演变，然后调整大小为88[×]64像素，如图1所示为AR人脸库上三个对象的样本图像示例。
户外标记人脸（Labeled Face in Wild， LFW）数据集包含大街上光照不受约束的陌生人脸图像的正面照，遮挡源包括眼镜、帽子、头发和放在脸上的手，除了遮挡，这些图像也包含表情变化和姿势变化，如图2所示为LFW人脸库上的图像示例。
4.2 识别结果
4.2.1 LFW人脸库上的识别结果
在LFW人脸库上选取每个对象不同遮挡源的5个图像用于训练，剩下的图像用于测试，并将其与几种较为先进的方法进行比较，包括SIFT[2]，KLD?LGBP[8]，S?LNMF[3]和基于特征选择的LBP（FS?LBP）[7]，各算法的参数设置分别参照各自所在的文献。识别结果如表1所示。
从表1可以看出，利用各种遮挡源进行训练，本文方法均取得了最高的识别率，表明本文方法选取的特征点在识别过程中发挥了重要作用。
4.2.2 AR人脸库上的识别结果
实验在第一个会话中随机选择50个对象的中性和微笑表情（图1（a）和（d））用于训练，分类器的图库集仅由中性图像组成，代替使用整个训练集，将会话1和会话2中的两类遮挡图像（图1（h）和（k））用于测试，将本文方法的识别结果与几种较为先进的方法进行比较，包括SIFT[2]，KLD?LGBP[8]，S?LNMF[3]和FS?LBP[7]，各方法的参数设置分别参照各自所在的文献，表2所示为会话1和会话2遮挡图像的识别率。
从表2可以看出，所有方法都可以看出数据与会话变化的性能退化，本文方法性能退化可能是由于遮挡区域较大以及人脸轮廓有阴影，它们在轮廓分明图像的人脸识别中对特征具有良好判别能力。然而，本文方法给出的结果较好，尤其对会话1的数据，最优识别率可高达99%，平均识别率可高达92.5%，高出KLD?LGBP和S?LNMF方法2.5%。关于遮挡类型，本文方法、SF?LBP对太阳镜遮挡能表现出较好的性能，而S?LNMF和KLD?LGBP在围巾遮挡的情况下给出的性能较好。
4.3 性能比较
实验记录了几种方法在AR库上的执行时间，包括训练总完成时间和测试单个样本所耗时间，如表3所示。
从表3可以看出，相比其他几种方法，本文方法的训练时间略高于SIFT及S?LNMF方法，因为SIFT及S?LNMF方法特征分解矩阵的维度是[m×m，]在面部图像中，面部特征的维度[n]通常远大于面部样本的维度[m，]即[m?n，]由于这两种方法无需对[n×n]维的密度矩阵进行特征分解，所以可以在很大程度上降低训练阶段的计算复杂度。本文方法识别一个样本所耗时间明显低于其他方法，通常情况下，训练过程是离线的，人们更关心在线的识别过程，由此可见本文方法在识别的实时性方面优于其他几种方法。
5 结 语
针对面部遮挡人脸识别问题，本文提出了一种新颖的特征提取算法，利用共同向量范围空间的投影矩阵进行特征点的提取，像素点的重要性由投影矩阵列准则决定，人脸图像中的每个准则对应一个像素。从理论上说明了像素点的重要性不会因为选取的基向量集合而改变。在AR和LFW人脸数据库上的实验结果表明，相比其他几种较新的方法，本文方法不仅提升了识别率，并在一定程度上减少了识别所耗的时间，识别人脸时具有良好的实时性。
人脸识别不仅易受遮挡影响，还会受光照、姿态变化等影响，未来会将本文方法应用于光照、姿态变化人脸数据库上，如FERET、扩展Yale B等，提高识别鲁棒性。
参考文献
[1] 皋军，孙长银，王士同.具有模糊聚类功能的双向二维无监督特征提取方法[J].自动化学报，2012，38（4）：549?562.
[2] 翟懿奎，甘俊英，李景文.基于彩色信息融合和同伦算法的遮挡鲁棒人脸识别方法研究[J].信号处理，2012，27（11）：1762?1768.
[3] 史加荣，焦李成，尚凡华.不完全非负矩阵分解的加速算法[J].电子学报，2011，39（2）：291?295.
[4] YIN Q， TANG X， SUN J. An associate?predict model for face recognition [C]// Proceedings of 2011 IEEE Conference on Computer Vision and Pattern Recognition. [S.l.]： IEEE， 2011： 497?504.
[5] CHEN W， GAO Y. Recognizing partially occluded faces from a single sample per class using string?based matching [C]// Proceedings of 2010 11th European Conference on Computer Vision. Greece： IEEE， 2010： 496?509.
[6] 苏煜，山世光，陈熙霖，等.基于全局和局部特征集成的人脸识别[J].软件学报，2010，21（8）：1849?1862.
[7] MIN R， HADID A， DUGELAY J. Improving the recognition of faces occluded by facial accessories [C]// Proceedings of 2011 IEEE International Conference on Automatic Face & Gesture Recognition and Workshops. Santa Barbara： IEEE， 2011： 442?447.
[8] ZHANG W， SHAN S， CHEN X， et al. Local gabor binary patterns based on Kullback?Leibler divergence for partially occluded face recognition [J]. IEEE Signal Processing Letters， 2007， 14（11）： 875?878.
[9] KATHIRVALAVAKUMAR T， VASANTHI J J B. Features reduction using wavelet and discriminative common vector and recognizing faces using RBF [J]. International Journal of Computer Applications， 2013， 74（5）： 40?46.
[10] WEN Y. An improved discriminative common vectors and support vector machine based face recognition approach [J]. Expert Systems with Applications， 2012， 39（4）： 4628?4632.
[11] CEVIKALP H. Semi?supervised discriminative common vector method for computer vision applications [J]. Neurocomputing， 2014， 12（9）： 289?297.
[12] YAN H， LU J， ZHOU X， et al. Multi?feature multi?manifold learning for single?sample face recognition [J]. Neurocomputing， 2014， 14（3）： 134?143.
[13] 丁缪，丁晓青，方驰.L_1 约束的三维人脸稀疏重建[J].清华大学学报（自然科学版），2012，52（5）：581?585.
[14] CHAN C H， TAHIR M A， KITTLER J， et al. Multiscale local phase quantization for robust component?based face recognition using kernel fusion of multiple descriptors [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2013， 35（5）： 1164?1177.
[15] LU C Y， MIN H， GUI J， et al. Face recognition via weighted sparse representation [J]. Journal of Visual Communication and Image Representation， 2013， 24（2）： 111?116.
[16] BISWAS A， GHOSE M K. Expression invariant face recognition using DWT SIFT features [J]. International Journal of Computer Applications， 2014， 92（2）： 30?32.