欢迎访问一起赢论文辅导网
本站动态
联系我们
 
 
 
 
 
 
 
 
 
 
 
QQ:3949358033

工作时间:9:00-24:00
计算机论文
当前位置:首页 > 计算机论文
基于支持向量机的人脸识别方法的研究
来源:一起赢论文网     日期:2013-08-07     浏览数:4019     【 字体:

摘要:针对模式识别中小样本、非线性和高维数的问题,提出了一种将主成分分析(PrincipalComponentAnalysis,PCA)和支持向量机(SupportVectorMachine,SVM)相结合的人脸识别的方法。首先利用主成分分析法对人脸图象进行特征提取,利用网格法对参数进行寻优,再利用支持向量机对特征向量进行分类识别,通过ORL(OlivettiResearchLaboratory)人脸库进行了仿真,实验结果表明,识别率可以达到945%。
关 键 词:主成分分析;支持向量机;人脸识别;参数寻优
TheStudyofFaceRecognitionMethodBasedonSupportVectorMachine
Abstract:thepaperproposespresentsamethodoffacerecognitioncombiningprincipalcomponentanalysisandsupportvectormachineaimingatsolvingtheproblemofthesmallsample,nonlinearityandhighdimension.Firstofall,weusetheprincipalcomponentanalysistoextractthefeatureofthefacialimage,meanwhileusingthegridmethodtooptimizetheparameters.Thensupportvectormachinesareusedforpacketclassificationofthefeaturevector.BymeansofBasedontheORL(OlivettiResearchLaboratory)facedatabasetosimulate,thesimulationresultsshowthattherecognitionratecanachieved945%.
Keywords:PCA;SVM;facialrecognition;parametersoptimizion
  1 引 言
  人脸在社会交往中扮演着十分重要的角色,是人类在确定一个人身份时所采用的最普通的生物特征。人脸识别主要进行2个方面的工作:特征提取和分类识别[1][2]。特征提取的主要方法有主成分分析、独立主成分分析(IndependentComponentAnalysis,ICA)等,分类识别的方法有线性分类器、神经网络分类器、支持向量机、隐马尔可夫模型等[3]。主成分分析法(PCA)是一种有效的特征提取方法。将人脸图像表示成一个列向量,经过PCA变换后不仅可以有效地降低其维数,同时又能保留所需要的识别信息[4]。支持向量机是为解决小样本学习和分类问题提出的。一方面,它克服了神经网络等方法所固有的过学习和欠学习问题,泛化能力强;另一方面,它又有很强的非线性映射能力。因此,支持向量机被广泛应用于人脸识别。
  2 主成分分析
  主成分分析法又称KL变换,是由Turk和Pentland提出来一种常用的正交变换,是模式识别领域中一种经典的特征提取和降维方法。将PCA应用于人脸识别的详细过程如下:每人选取5幅图像共计200幅图像构成训练集,其余的构成测试集。将每幅图像转换成具有11292个元素的列向量,则训练集X为具有40行10304列的样本矩阵,令A=[x1-u,x2-u,…,xn-u],则所有训练样本的协方差矩阵为C=ATA,它是一个1030410304的方阵,对此矩阵的计算会非常复杂。在此采用快速PCA的方法计算矩阵C的特征值和特征向量。设R=AAT,n维列向量v是R的特征向量,则有:(AAT)v=λv (1)式(1)两边同时左乘AT,则:ATAATv=(ATA)ATv=λ(ATv) (2)式(2)说明ATv是ATA的特征值。即可以通过计算小矩阵R=AAT(4040)的特征向量v,而后通过左乘AT得到协方差矩阵C的特征向量。求解出的样本的协方差矩阵的特征向量即主成分分量。求出主成分分量后要进行[-1,1]归一化处理,把要处理的数据限制在一定范围内。即是为了后面数据处理的方便,同时保正程序运行时收敛加快[5]。在归一化时要对每一列进行归一化,每一列代表数据的每一维。为了得到更好地归一化效果,将训练集和测试集一起进行归一化。实验结果表明归一化会明显提高识别率。通过样本矩阵向特征向量投影可以得到降维后的样本矩阵。
  3 支持向量机
  支持向量机理论是从线性可分情况下的最优分类面发展而来的,其基本思想,如图1所示。图1 支持向量机最优分类面图中,十字星点和圆形空点分别表示两类训练样本,H2为分类线,H1,H3分别为过两类样本中离分类线最近的样本且平行于分类线的直线,H1和H3之间的距离叫做分类间隙。所谓最优分类线就是要求分类线不但能将两类样本正确分开,而且使分类间隙最大。正确分开是保证经验风险最小,而使分类间隙最大实际上就是使置信范围最小,从而使真实风险最小。在高维空间中,最优分类线就成为最优分类超平面[6]。考虑线性可分情况,给定有标识的训练样本集合(x1,y1),(x2,y2),…,(xn,yn),xi∈Rn,yi∈{-1,+1}是n维向量xi的标识,i=1,2,…,n。设两类样本间的分类面方程为w·x+b=0,则n维空间中线性判别函数为g(x)=w·x+b,将判别函数进行归一化,使两类所有样本满足|g(x)|≥1,即使离分类面最近的样本|g(x)|=1,此时分类间隔为2/‖w‖。使间隔最大等价于使‖w‖(或者‖w‖2)最小。使‖w‖2最小的分类面就叫最优分类面,H1,H3上的训练样本就称作支持向量,因为它们支撑了最优分类面。在以下约束条件之下:∑ni=1yiαi=0 αi≥0 i=1,2,…,n利用Lagrange算法将问题求解转换为求解式中的函数取最大值时的解。w(α)=∑ni=1αi-12∑ni=1∑nj=1αiαjyiyj(xi·xj)(3)最优函数为f(x)=sgn{(w·x)+b}最优分类面是针对线性可分问题的,而对于非线性问题,支持向量机先通过非线性映射Φ:Rn→F,把问题从现有空间Rn转化为某个高维空间F中的线性问题,然后在高维空间求最优分类面。在构造最优分类面的过程中,不论是寻优函数还是分类函数都只涉及训练样本之间的内积运算(xi·xj)。这意味着在高维空间F中实际只需进行内积运算,不必知道映射Φ的具体形式[7]。而这种内积运算可以用原空间中的函数实现。K(xi·xj)通常被成为核函数。
  4 实验与仿真
  本实验数据来自ORL人脸库。首先对数据进行前期的处理,将整个的数据集分为两部分,一个训练集和一个测试集,选取每个人的前5幅图像作为训练样本,后5幅图像作为测试样本。读入训练图像后通过主成份分析去除相关性,提取人脸特征,然后用PCA降维后得到的特征向量作为SVM分类的特征。通过PCA可以将10304维的样本特征向量降至d维,本次试验将d选为10,20,30,40。通过表1、表2可以看出维数过低时,由于特称提取的过少导致识别率不高,随着维数的增加,识别率逐渐提高,当维数达到30维以后,继续增加,识别率增加缓慢。由于SVM是一个二分器,只能用于两类样本的分类,为此使用了一对一的投票策略对其进行推广实现多分类,对于n类样本,可得n(n-1)/2个二分器,各类投票初值均为零。测试的时候将测试样本依次送入这些二分器,判定为哪类,哪类投票结果加1,最后得到一组结果数据,测试样本最后判定为数值最大的类[8]。采用SVM做分类,为了得到较好的分类识别率有2个主要参数(惩罚参数c和核函数参数g)要进行选取。
  本文采用了交叉验证(CV,CrossValidation)的方法进行参数优化,得到了理想的最优参数,有效地避免了过学习和欠学习状态的发生。常用的交叉验证方法有3种,本文采用了KCV的验证方法,即将原始数据均匀分成K组,将每个子集数据分别做一次验证集,同时其余的K-1组子集数据作为训练集,这样就得到了K个模型,用这K个模型最终的验证集的分类准确率的平均数作为此KCV下分类器的性能指标。本实验K选7,即采用7重交叉验证识别率作为评价核函数优劣的指标。在对c和g进行参数寻优的时候如果对应最高的验证分类准确率有多组的c和g,那么选取能够达到最高分类准确率中参数c最小的那组c和g作为最佳参数,如果对应最小的c有多组g,就选取· 6 9 1 · 控 制 工 程               第20卷 搜索到的第一组c和g作为最佳参数。因为过高的c会导致过学习状态发生。使用SVM进行学习和分类,选取不同核函数是关键[9],本文选用径向基核函数以及固定参数和寻优后的参数在图像库中进行仿真实验。设定维数分别为10维,20维,30维,40维,进行参数寻优,得到理想的c和g。即维数降置10维时,参数c的最优值为4,g的最优值为004352。利用得到的c和g进行人脸识别,识别率为65%。此值对于10维时是最优参数,但对于其他维数不一定是最优参数,如果利用这一数值对20维,30维,40维时的数据进行识别,识别率分别为82%、895%、905%,见表1。表1 采用固定参数时的识别率维数 10 20 30 40参数识别率C=4g=00435265%C=4g=00435282%C=4g=004352895%C=4g=004352905%  然后对20维,30维,40维时进行参数寻优得到不同的c和g,将得到的最优参数代入人脸识别程序得到相应的识别率,见表2。表2 采用寻优后参数时的识别率维数 10 20 30 40参数识别率C=4g=00435265%C=4g=00143584%C=22974g=014359925%C=22974g=008247945%  实验结果表明使用固定参数进行人脸识别识别率比较低,而使用寻优后的参数进行人脸识别,识别率会得到提高。
  5 结 语
  本文利用ORL人脸数据库,将主成分分析用于人脸特征提取,使用支持向量机识别方法进行人脸识别,为了提高识别率使用了交叉验证法对核函数和惩罚参数进行了参数寻优,实验结果说明了该方法是非常有效的。采用交叉验证的方法进行参数寻优,K值取得越大,识别率越高,但运算时间变长,如何得到较高的识别率和较少的时间,这是一个有待继续研究的方向。
  参考文献:[1] 孙涛,谷士文,费耀平.基于PCA算法的人脸识别方法研究比较[J].现代电子技术,2007,30(1):112114.[2] 崔法毅,郑德忠.小波包重构系数矩阵与改进SVD的人脸识别[J].控制工程,2010,17(5):629631.[3] 赵丽红,孙宇舸,蔡玉,徐心和等.基于核主成分分析的人脸识别[J].东北大学学报(自然科学版),2006,27(8):847850.[4] 张敏,李陶深,钟淑瑛.基于Matlab的主成分分析方法的实现[J].广西大学学报(自然科学版),2005,30(Sup):7477.[5] RDuda,PEHart,DGStork著.李宏东,姚天翔等译.模式识别[M].北京;机械工业出版社,2006.[6] MLyons,JBudynek,SAkamatsu.Automaticclassificationofsinglefacialimages[J].IEEETransactionsonPatternAnalysisandMachineintelligence,1999,21(12):13571362.[7] 高众,卢官明.基于支持向量机的新生儿疼痛表情识别[J].重庆科技学院学报(自然科学版),2009,11(2):119120.[8] 张铮,王艳平,薛桂香.数字图像处理与机器视觉[M].北京;人民邮电出版社,2010.[9] 王鹏,朱小燕.基于RBF核的SVM的模型选择及应用[J].计算机工程与应用,2003,39(24):7273.[10]S.Purwar,L.N.Kar,A.N.Jha.Adaptiveoutputfeedbacktrackingcontrolofrobotmanipulatorsusingpositionmeasurementsonly[J].ExpertSystemswithApplications,2008,34(4):27892798.[11]FuchunSun,ZengqiSun,PengYungWoo.Neuralnetworkbasedadaptivecontrollerdesignofroboticmanipulatorswithanobserver[J].IEEETransactionsonNeuralnetworks,2001,12(1):5467.[12]WaiRJ,ChangCJ.Trackingcontrolbasedonneuralnetworkstrategyforrobotmanipulator[J].Neurocomputing,2003,51:425445.[13]ChiouKuoChing,HuangShiuhJer.Anadaptivefuzzycontrollerforrobotmanipulators[J].Mechatronics,2005,25(2):151177.[14]SongZuoshi,YiJianqiang,ZhaoDongbin,LiXinchun.AComputedtorquecontrollerforuncertainroboticmanipulatorsystems:Fuzzyapproach[J].FuzzySetsandSystems,2005,154(2):208226.[15]H.F.Ho,Y.K.Wong,A.B.Rad.Robustfuzzytrackingcontrolforroboticmanipulators[J].SimulationModelingPracticeandTheory,2007,15(7):801816.[16]Y.Gao,M.J.Er,S.Yang.Adaptivecontrolofrobotmanipulatorsusingfuzzyneuralnetworks[J].IEEETransactionsonIndustrialElectronics,2001,48(6):12741278.[17]K.Y.Kuo,J.Lin.Fuzzylogiccontrolforflexiblelinkrobotarmbysingularperturbationapproach[J].AppliedSoftComputingJournal,2002,2(1):2438.[18]CastilloOscar,MelinPatricia.Intelligentadaptivemodelbasedcontrolofroboticdynamicsystemswithahybridfuzzyneuralapproach[J].AppliedSoftComputingJournal,2003,3(4):363378.[19]G.Noureddine,G.Amar,B.Kamel,etal.Observerbasedadaptivecontrolofrobotmanipulators:Fuzzysystemsapproach[J].AppliedSoftComputing,2008,8(1):778787.[20]S.Purwar,I.N.Kar,A.N.Jha.Adaptivecontrolofrobotmanipulatorsusingfuzzylogicsystemsunderactuatorconstraints[J].FuzzySetsandSystems,2005,152(3):651664.[21]LabiodS,BoucheritMS,GuerraTM.AdaptivefuzzycontrolofaclassofMIMOnonlinearsystems[J].FuzzySetsandSystems,2005,151(1):5977.[22]ManZhihong,M.Palaniswami.Robusttrackingcontrolforrigidroboticmanipulators[J].IEEETransactionsonAutomaticControl,1994,39(1):154159.[23]MagdyM.Abdelhameed.Enhancementofslidingmodecontrollerbyfuzzylogicwithapplicationtoroboticmanipulators[J].Mechatronics,2005,15(4):439458.[24]ZhimeiChen,JinggangZhang,etal.Slidingmodecontrolofrobotmanipulatorsbasedonneuralnetworkreachinglaw[C].IEEEInternationalConferenceonControlandAutomation,2007.[25]Z.Man,X.Yo,K.Eshraghian,etal.ArobustadaptiveslidingmodetrackingcontrolusinganRBFNeuralNetworkforRoboticsManipulators[C].ProceedingsofIEEEInternationalConferenceonNeuralNetworks,1995.

[返回]
上一篇:基于蚁群算法的能量均衡多路径路由算法的研究
下一篇:电子商务对国际贸易的影响及应用现状分析