基于局部特征融合的人脸识别

测试技术学报

JOURNALOFTESTANDMEASUREMENTTECHNOLOGYVol.20　No.6　2006

(SumNo.60)

文章编号:1671-7449(2006)06-0539-04

基于局部特征融合的人脸识别

󰀁

尹洪涛,付　平,孟升卫

(哈尔滨工业大学自动化测试与控制系,黑龙江哈尔滨150001)

摘　要:　提出了基于局部特征融合的人脸识别算法.首先把人脸图像分割为多个子图像,利用传统主成分分析的方法,对不同位置的子图像集分别建立不同的子空间并且抽取相应的局部特征.针对各局部特征,分别求出待识别图像对训练样本的隶属度.最后,基于模糊综合的原理对各局部特征进行数据融合,给出最终识别结果.实验结果表明,该算法能很好地融合人脸的局部信息,有效提高识别率.关键词:　主成分分析;局部特征;模糊融合;自适应加权;人脸识别中图分类号:　TP391　　文献标识码:A

FaceRecognitionBasedonLocalFeatureFusion

YINHongtao,FUPing,MENGShengwei

(Dept.ofAutomaticTestandControl,HarbinInstituteofTechnology,Harbin150001,China)

Abstract:　Afacerecognitionmethodbasedonthefuzzyinformationfusionofthelocalfeaturesisproposed.Eachoriginalimageisdividedintomanysub-imagesandalltrainingsub-imagesfromthesamepositionconstructanewtrainingsubset.ThetraditionalPCA(principalcomponentanalysis)operatesdirectlyonasetofnewtrainingsubsetsrespectivelyandasetofprojectionsub-spacescanbeobtained.Thelocalsub-featureofanunknownfacecanbeextractedbyprojectingeachsub-imageontothecorrespondingsub-space.Accordingtotheselocalsub-features,themembershipgradesofthetestsub-imagestothetrainingsub-imagescanbedetermined.Theidentityofanunknownfaceimageis

determinedbythefuzzyfusionwhichaggregatesthelocalsub-features.Theexperimentsontwostandardfacedatabasesshowtheeffectivenessoftheproposedmethod.

Keywords:principalcomponentanalysis(PCA);localfeature;fuzzyfusion;adaptiveweight;facerecognition

近年来,人脸识别已成为模式识别和人工智能领域中的一个研究热点.经过几十年的发展,各种算法层出不穷,如主成分分析(PrincipalComponentAnalysis,PCA)方法[1]、线性判别分析方法[2]、独立成分分析方法[3]、模板匹配方法[4]、神经网络方法[5]等.其中,主成分分析方法是最重要的识别方法之一.自从Turk等将PCA方法用于人脸识别,许多研究者又提出许多改进算法,如S.Chen等提出局部主成分分析的方法,K.Tan等进一步改进S.Chen的方法,提出了加权的局部主成分分析方法.这两种方法在分类时,只是按特征向量之间的欧式距离简单分类,并没有考虑特征向量空间分布对分类的影响.如果样本空间分布不规则,再加上噪声和野值点(Outlier)的影响,势必影响识别效果.提取好的识别特征和设计有效的分类器是解决人脸识别的两个关键问题.好的识别特征与有效的分类器结合有益于识别率的提高.

本文提出的识别算法是传统主成分分析方法的扩展.首先利用传统的PCA方法分别提取人脸图像不同区域的局部特征;然后对各局部特征进行模糊划分,得出模糊分类结果,最后,基于模糊综合的原理对各局部特征进行数据加权融合,给出最终识别结果.我们在ORL人脸库和Yale人脸库上进行了大量实验,

󰀁收稿日期:2006-02-17　作者简介:尹洪涛(1972-),男,博士生,主要从事数字图像处理模式识别等研究.[7]

[1]

[6]

540

测试技术学报2006年第6期

结果表明本文算法能很好地融合人脸各局部的信息,识别效果优于基于距离和距离加权的方法.

1　主成分分析

PCA方法是基于Karhunen-Loeve(K-L)变换的统计学分析方法,其原理就是将高维向量通过一个

特殊的特征向量矩阵,投影到一个低维的向量空间中,表征为一个低维向量.通过低维表征的向量和这个特征向量矩阵,可以重构出所对应的原始高维向量.在人脸识别过程中,经过K-L变换可以得到一组特征向量,形成降维的子空间,任何一幅人脸图像都可以向其投影,并获得一组坐标系数,这组系数表明了该图像在子空间中的位置,从而可以作为人脸识别的依据.

该方法以训练样本的总体散布矩阵为产生矩阵,即

-)T=1XXT,S=1∑(Xi--X)(Xi-X(1)

Mi=1M

式中:Xi为第i个训练样本的图像矢量,矢量维数为n;-X为训练样本的平均图矢量;M为训练样本的总数.根据总体散布矩阵可求出一组正交的特征向量u1,u2,…,un,其对应的全部特征值分别为󰀁1,󰀁2,…,󰀁n,其中󰀁1>󰀁2>…>󰀁n,通过选用前m(mYi=UTXi.

(2)

　　如将子空间的正交基按照图像阵列排列,则可以看出这些正交基呈现人脸的形状.因此这些正交基也被称作特征脸(Eigenface),对于任意给定的人脸图像都可以近似为这组特征脸图像的线性组合,用组合的系数作为人脸的特征向量,这种人脸识别方法也叫特征脸方法.

M

2　局部主成分分析

基于整幅图像的主成分分析有一个明显的不足:因为整幅图像的特征向量反映的是整幅图像的特性,对细节描述不够;另外,图像中人脸表情和位置的变化,只有部分区域的灰度值变化显著,而其他区域变化并不明显,如果将人脸图像进行分块处理并以每个子图像的特征向量作为识别特征,将能更加充分利用图像信息.对此,我们首先将训练样本分割为多个子图像,相同位置的子图像可以组成相应的子图像集,利用PCA方法,分别对各子图像集建立相应的子空间并抽取各子图像的特征.人脸图像的分割及子图像集的组建如图1所示.

图1　子图像集的组建

Fig.1　Theconstructionoffacesub-imagesets

对人脸图像分块处理后,不同位置的图像块可以组成N个子图像集,分别对N个子图像集进行主成分分析,能够得到N个子空间U1,U2,…,UN,各子图像集中样本的特征向量可以通过式(3)求出

yij=Ujxij,(3)

式中:xij表示第i个训练样本的第j个子图像矢量,i=1,2,…,M,M为训练样本的个数;j=1,2,…,N,N为子图像集的个数.

3　局部特征融合

自从1965年Zadeh提出模糊集理论以来,随着模糊逻辑和可能性理论的提出及深入研究,模糊集理论已在工业控制、模式识别、不确定推理模型的设计和信息融合等方面得到广泛应用.

(总第60期)基于局部特征融合的人脸识别(尹洪涛等)

541

模糊集理论不同于传统集合理论,每一个元素都是以一定的程度属于某个集合,也可以同时以不同的程度属于几个集合.对于人脸图像分割出的子图像,由于每个人脸的先验知识只局限于几个学习样本,加上各种因素的干扰(表情和位置的变化等),对于某些位置的子图像,同一个人样本之间的差异有可能大于不同人样本之间的差异.但一幅人脸图像的不同子图像之间是相互独立的,某些子图像的误识并不影响其他子图像的正确识别.人脸图像的分类结果由所有的子图像共同决定,所以怎样融合各子图像的分类结果成为关键问题.本文引入模糊分类的思想,首先得到各个子图像的模糊分类结果,然后对各模糊分类结果进行融合,最后根据最大隶属度原则,给出待识别图像的确定分类结果.识别过程如图2所示.

图2　待分类人脸识别过程

Fig.2　Thearchitectureoftheproposedfacerecognitionalgorithm

对一幅待识别的人脸图像,首先分割出各个子图像,并按列展开为向量vj(j=1,2,…,N).用每一个向量vj向各自对应的子空间投影,求得投影向量hj=Ujvj.然后计算该特征向量与训练样本之间的欧式距离

dij=‖yij-hj‖.

　　待识别样本的子特征hj对训练样本的隶属度可根据文献[8]中的公式求出

1󰀁ij=,

1+(dij/dj)tM

(4)

(5)

1∑dij表示特征向量hj到训练样本之间距离的平均值;t为模糊因子,是一个可以控制模糊Mi=1

程度的常数.

人脸图像的不同区域对分类的作用是不同的,对各个子图像的模糊分类结果进行融合的时候有必要式中:dj=

分别对待,本文使用加权的方法.对于加权权值的确定,使用最近邻分类器,分别利用留一法[9](Leave-One-Out)对训练样本的各子图像集进行交叉验证,每个训练子集都可以得到一个识别率wj,本文以wj作为加权权值.对各个子图像的分类结果加权求和,可得到待识别图像对于各个训练样本的隶属度为

N

󰀁i=

∑w󰀁.

j

ij

j=1

(6)(7)

　　根据最大隶属度的原则,最后的分类结果由式(7)确定C(󰀁p)=argmax(󰀁i).i即待识别人脸图像与第p个训练样本同属于一类.

4　实验结果

分别使用ORL人脸库和Yale人脸库验证提出的算法.在ORL人脸库中有40个人的400幅图像,每人10幅,这些人脸图像是在不同时间,不同光照,不同头部角度,不同面部表情(睁/闭眼,笑/严肃)和不同人脸细节(有/无眼镜)条件下拍摄得到的,图像尺寸为92×112;在Yale人脸库中包含15个人的

165幅图像,每人11幅图像.其中包括在不同光照条件下(如左逆光、右逆光),不同表情,戴眼镜的人脸图像.由于Yale人脸库中原始图像包含较多的背景,所以对原始图像进行了预处理,剪裁出只包含人542

脸的图像,并且尺寸归一化为92×112.

测试技术学报2006年第6期

实验中对于ORL人脸库,每人随机选取5幅图像作为训练样本,其他5幅用于测试;对于Yale人脸库,每人随机选取5幅图像作为训练样本,其他6幅用于测试.我们以不同的等分方式分割原图像,并且每组实验重复进行20次,实验结果取平均值.实验中部分参数设置如下:对于ORL人脸库,特征向量的维数m为120;模糊因子t为0.25.对于Yale人脸库,特征向量的维数m为40;模糊因子t为0.25.还对文献[6,7]的方法进行了仿真,实验结果分别如表1和表2所示.

表1　ORL人脸库的实验结果(识别率:%)

Tab.1　Comparisonofdifferentapproachesintermsofrecognitionrates(%)ontheORLdatabase

分割方式SpPCA[6]Aw-SaPCA[7]

本文方法

2×294.6394.7095.02

2×494.6794.7795.40

2×794.1594.3595.07

2×894.4294.4395.15

4×294.3094.4795.05

4×494.0094.0595.22

4×794.5094.6895.60

4×894.1294.2594.85

表2　Yale人脸库的实验结果(识别率:%)

Tab.2　Comparisonofdifferentapproachesintermsofrecognitionrates(%)ontheYaledatabase

分割方式SpPCA[6]Aw-SaPCA[7]

本文方法

2×283.5083.5685.17

2×483.2283.6184.39

2×782.0683.1184.06

2×882.7883.1783.33

4×283.2883.3384.78

4×482.3383.3984.72

4×782.2383.3983.72

4×881.8983.1183.83

由实验结果可以看出,在相同划分情况下,基于融合方法的识别率均高于基于距离的方法,由于引入模糊理论,依据测试样本对训练集中各人脸图像的隶属度大小进行分类,融合算法有效地综合了人脸各局部区域的信息,从而提高了识别率.

5　结　论

本文提出了一种局部特征融合的人脸识别算法.针对人脸图像各局部信息相互独立的特点以及特征向量可能出现的分布不规则现象,分别提取图像各个区域的特征,然后计算出各局部特征对于训练样本的隶属度,实现局部图像的软分类,最后通过模糊融合的方法综合出识别结果.在ORL人脸库和Yale人脸库上的仿真实验结果表明,对局部特征的模糊融合有效地提高了识别率.

参考文献:

[1]　TurkM,PentlandA.Eigenfaceforrecognition[J].JournalofCognitiveNeuroscience,1991,3(1):71-86.[2]　BelhumeurPN,HespanhaJP,KriengmanDJ.Eigenfacesvs.Fisherfaces:recognitionusingclassspecificlinear

720.projection[J].IEEETrans.PatternAnal.MachineIntell.,1997,19(7):711-[3]　BartlettMS,MovellanJR,SejnowskiTJ.Facerecognitionbyindependentcomponentanalysis[J].IEEE

TransactionsonNeuralNetworks,2002,13(6):1450-1464.

[4]　BruneliR,PoggioT.Facerecognition:featuresversustemplates[J].IEEETrans.PatternAnalysisandMachine

Intelligence,1993,15(10):1042-1052.

[5]　LinSH,KungSY,LinLJ.Facerecognition/detectionbyprobabilisticdecision-basedneuralnetwork[J].IEEE

Trans.Onneuralnetworks,1997,8(1):114-132.

[6]　ChenSongcan,ZhuYulian.Subpattern-basedprinciplecomponentanalysis[J].PatternRecognition,2004,37(5):

1081-1083.

[7]　TanKeren,ChenSongcan.Adaptivelyweightedsub-patternPCAforfacerecognition[J].Neurocomputing,2005,

64(1):505-511.

[8]　ChiangJH.AggregatingmembershipvaluesbyaChoquet-fuzzy-integralbasedoperator[J].FuzzySetsand

Systems,2000,114(3):367-375.

[9]　DudaRO,HardPE,StorkDG.模式分类[M].第二版.北京:机械工业出版社,2003:389-391.