第40卷 计算机学报 Vol.402017论文在线出版号No.65 CHINESEJOURNALOFCOMPUTERS OnlinePublishingNo.65———————————————万俊，男，1988年生，博士研究生，主要研究方向为人脸识别和人脸对齐，E-mail:wanjun19880602@163.com。李晶，男，1967年生，博士，教授，主要研究方向为数据挖掘和模式识别，E-mail:leejingcn@163.com。常军，男，1972年生，博士，讲师，主要研究方向为多媒体网络通信和人脸识别。吴玉佳，男，1986年生，博士研究生，主要研究方向为数据挖掘和人脸识别。肖雅夫，男，1988年生，博士研究生，主要研究方向为目标跟踪和模式识别。基于局部形状组合模型的人脸对齐万俊1)李晶1)常军1)吴玉佳1)肖雅夫1)1)( 武汉大学计算机学院,武汉市430072)摘要 近年来，在研究人脸对齐问题上提出了许多高效、精确的算法，其中，许多算法都采用平均脸作为初始化形状，然后采用不同的方法对人脸的最终形状进行预测，这些算法在人脸表情、头部姿势、光照差异较大的情况下没有很好的鲁棒性。本文提出基于平均脸使用局部形状组合模型来构建一个更准确的人脸（组合脸）。局部形状组合模型首先根据人脸基准点的分布特点把人脸形状划分为脸部轮廓、眉毛、眼睛、鼻子、嘴巴五个部分，然后利用平均脸作为初始化形状,在每个局部形状包含的特征点的邻域内提取特征构建随机森林，对所有训练图片人脸的局部形状进行分类。叶子结点用来存放对应类的局部形状，其它结点存放分类的规则，局部形状组合模型针对五个局部形状总共构建了5个随机森林。对于每一个测试图片人脸，使用平均脸作为初始化形状，遍历随机森林去选择最像测试人脸的局部形状。平均脸和由轮廓决定的人脸其它局部形状的中心以及选择的局部形状将被用来构建组合脸。在大多数情况下，组合脸比平均脸具有更强的表示能力，因此本文提出一个基于组合二值特征的决策机制来选择组合脸和平均脸中更为合适的一个作为后续阶段的初始化形状。决策机制在训练阶段估计出预测结果和组合二值特征的关系，在测试阶段利用训练阶段估计的关系对选择结果进行预测。决策机制是一个二分类问题，可以利用支持向量机来解决。最后以级联回归的方式对该初始化形状进行优化以逼近标准形状。通过采用局部形状组合模型和基于组合二值特征的决策机制，可以防止1）最终预测的人脸由于初始化形状不理想而陷入局部最佳，2）增强本算法对人脸表情、头部姿势、光照差异的鲁棒性。本文算法（LSBC算法）在在300-W（68-pts）和Helen(194-pts)数据库下的误差（瞳孔间距归一化误差）分别为4.73%和4.68%，优于当前的LBF、ESR、SDM算法。关键词 级联回归；局部形状组合模型；组合脸；平均脸；决策机制；组合二值特征中图法分类号TP391论文引用格式：万俊，李晶，常军，吴玉佳，肖雅夫, 基于局部形状组合模型的人脸对齐,2017,Vol.40,在线出版号No.65WanJun,Li Jing,ChangJun,WuYu-jia,XiaoYa-fu,FaceAlignment onLocal-Shape-BasedCombinedModelt, 2017,Vol.40,OnlinePublishingNo.65FaceAlignmentonLocal-Shape-BasedCombinedModelWANJun1)LIJing1)CHANGJun1)WUYu-jia1)XIAOYa-fu1)1)(ComputerschoolofWuhanUniversity,Wuhan430072)AbstractInrecentyears, largequantitiesofeffectiveandaccuratealgorithmsonfacealignmenthavebeenproposed,amongwhichmanyof themusethemeanshapeastheir initializedshapesandthenfurther predict thefinal shapesof test imageswithdifferentmethods.Thesealgorithms, however,areinlackofgreatrobustnessiftherearebigdifferencesinfacialexpressions, headposesandillumination. Thispaper presentsaLocal-Shape-BasedCombined(LSBC)model tocreateanewfaceshapewhichismoreaccuratethanthemeanshapeandnamedascombinedshape. TheLSBCmodel firstlydividesafaceshapeinto5partsaccordingtothedistributiondisciplineoflandmarks, namelyfacecontourarea, eyebrowarea, eyearea, noseareaandmoutharea.Andthenwiththemeanshapebeingtheinitializedshape, different local shapesontrainingimageswill becategorizedbytheir网络出版时间：2017-05-19 12:50:49网络出版地址：http://kns.cnki.net/kcms/detail/11.1826.TP.20170519.1250.014.html2 计算机学报 2017年featuresextractedfromlocal regionaroundlandmarksineachlocal shapetoestablisharandomforest forclassification. Theleafnodeisresponsibleforstoringthecorrespondinglocalshapesinthiscategoryandtherestofnodeskeeptheclassificationrules.TheLSBCmodel will buildfiverandomforestscorrespondingtofivelocal shapestotally.Asforeachtest image, it will first set themeanshapeastheinitializedshapeandthentraversetherandomforest toselect thelocal shapeswhicharemost similartothetestshape.Thecentersofall local shapesinthemeanshapetogetherwiththecentersofall local shapescorrespondingtotheselectedfacecontour andtheselectedlocal shapeswill becombinedtocreateacombinedshape. Under most circumstances, theerrorbetweenthecombinedshapeandtheground-truthshapeissmaller thantheerror betweenthemeanshapeandtheground-truthshape. Consequently, adecision-makingmechanismbasedoncombinedbinaryfeaturesisproposedtochooseabetter initializedshapeforsubsequent stagesbetweencombinedshapeandthemeanshape. Thedecision-makingmechanismmeansestimatingtherelationshipbetweenthepredictingresultsandcombinedbinaryfeaturesintrainingandapplyingtheestimatedrelationshipstopredict thechoosingresult intesting.Thedecision-makingmechanismisabinaryclassificationproblemwhichcanbewell solvedbytheSupport Vector Machinewiththecombinedbinaryfeatures. Finally, thechoseninitializedshapewill beoptimizedbycascaderegressionforthepurposeofapproximatingtheground-truthshapes.Ononehand, theLSBCmodelisusefulinpreventingthefinal-predictedshapefromtrappingintolocalminimaduetoanundesirableinitializedshape.Ontheotherhand, itcanenhancetherobustness of this algorithminterms of facial expressions, headposes andillumination. Thealignment errors (inter-pupildistancenormalizedlandmarkerror)ofthisalgorithmunderthetwodatabases300-W（68-pts）andHelen(194-pts)arerespectively4.73%and4.68%,whichismoreprecisethansuchcurrentalgorithmsasLBF,ESRandSDM.Keywords cascade regression; Local-Shape-Based Combined model; combined shape; mean shape; decision-makingmechanism;combinedbinaryfeature1引言随着社会信息化、网络化程度的提高，信息安全受到越来越多的重视，人们迫切需要一种快速、有效的自动人脸识别技术。人脸对齐或者定位人脸的一些显著点比如鼻尖、眼角是人脸识别、人脸姿态表情分析、三维人脸建模不可缺少的重要组成部分，人脸对齐的效率和精确性直接影响后期算法的性能。由于人脸表情、头部姿势、光照条件的差异和部分遮挡的存在，人脸对齐问题仍然面临着巨大的挑战。因此一种高效、精确的人脸对齐算法，成为现阶段人们的迫切要求。现有的人脸对齐算法有很多，根据人脸形状向量的求解过程可以分为两大类：基于最优的人脸对齐算法和基于形状回归的人脸对齐算法。基于最优的人脸对齐算法通过优化误差方程以达到人脸对齐的目的，其性能依赖于误差方程本身设计的优劣程度及其最优化的效果，主要代表算法有经典的AAM、ASM和CLM[1-7]。ASM[1]通过一组基准点描述人脸的形状，然后对各样本人脸形状进行配准，使得形状尽可能相似，对这些配准后的形状向量利用主成分分析方法进行统计建模得到人脸形状的统计学描述，从而定位出目标人脸。ASM依靠一个由人工标定基准点的训练集来得到一个平均的人脸形状（平均脸）之后，在平均形状点的邻接区域进行搜索得到目标形状。AAM[5]分别采用主成分分析法分别对人脸建立形状模型和外观模型，形状模型可以有效增强对人脸基准点的形状约束，外观模型可以有效利用人脸的纹理特征，然后采用梯度下降法方法进行人脸形状的优化，对初始化形状的选择非常敏感。CLM[7]把人脸形状建模分为形状模型构建和块模型构建，通过初始化平均脸的位置，然后让每个平均脸上的特征点在其邻域位置上进行搜索匹配来完成人脸基准点的检测。上述问题都可以使用非线性最优化方法来求解，而在求解非线性最优化问题时，目前最有效、最可靠、最快的方法是二阶下降方法。在解决计算机视觉方面的问题时，二阶下降方法有两大缺点：1）目标函数不可微从而使数值逼近的思想无法实现；2）海森矩阵的维度过高且不正定。基于形状回归的人脸对齐算法[8-14]根据初始化形状逐步估计形状增量来不断逼近标准形状，从而不需要计算海森矩阵和雅可比矩阵。基于形状回归的人脸对齐算法在时效性和精确性上都取得了不错的效果，已经成为人脸对齐领域的主流算法。基于形状回归的人脸对齐算法[8-11]都需要有一个初始化形状，这个初始化形状一般为平均脸。这类算法首先在平均脸的基准点上（邻域）提取特征，所有基准点的特征组成一个特征向量，该特征向量与人脸标准形状上提取的特征向量有一定的差异，该类算法直接估计出平均脸和标准形状的差异与对应的特征向量之间差异的关系R。测试阶段利用平均脸作为初始化数据和训练阶段估计得到的R作回论文在线出版号No.65 万俊等：基于局部形状组合模型的人脸对齐 3归来对平均脸进行优化以逼近真实形状。当测试人脸和训练人脸的平均脸的差异比较小的时候，使用平均脸作为初始化形状可以得到不错的效果，但是当人脸表情、头部姿势、光照差异比较大时，平均脸和测试人脸的差异较大，此时使用平均脸作为初始化形状并不可取。因此，一个好的初始化形状直接影响算法的收敛速度和最终算法的性能（对齐误差）。Xiong[8]在SDM首次提出使用级联回归来解决人脸对齐问题，通过使用sift[15]特征和多次的级联回归来增强对人脸表情和头部姿势、光照变化差异的鲁棒性。Cao[9]在ESR中提出了非参数形状模型，认为每一个人脸的最终回归形状可以看成初始化形状和所有训练人脸形状向量的线性和,通过使用形状索引特征和相关联的特征选择方法可以快速学习准确的模型。Burgos-Artizzu[10]等提出了PCPR在对基准点的位置进行估计的同时可以检测遮挡信息，根据遮挡信息选择没有遮挡的形状索引特征来解决遮挡下的人脸对齐问题。Ren[11]等提出了有效且计算速度极快的局部二值特征并且使用随机森林进行分类回归，算法的速度达到了3000fps。上述方法可以降低平均脸作为初始化形状对最后人脸对齐结果的影响，但是最终算法结果还是在很大程度上依赖初始化形状的选择。一个合理的、准确的人脸初始化形状能够有效加快算法的收敛速度和提升最终算法的性能。因此，如何构建一个更准确的人脸作为初始化形状是我们亟待解决的问题。同时，也有一部分人通过别的方式来避免初始化形状不准确的问题，达到了不错的效果。Zhang[16]等提出了由粗到精的自编码网络来解决人脸对齐问题，第一层网络可以快速和足够准确的预测初始化基准点的位置，后面的多层网络可以根据当前形状在更高分辨率下的局部特征来对基准点的位置进行微调。Zhu[17]等在CCFS把人脸对齐分为粗糙选择阶段和精细选择阶段，粗糙选择阶段首先构建一个包含很多候选人脸形状的形状空间，然后确定一个子空间交给精细选择阶段处理，同时丢弃其它的一些和标准形状相差较大、没有希望的子空间；在精细选择阶段不断缩小这个空间直到其收敛到一个极小的、可以确定最后人脸形状的子空间。Heng[18]等通过构建卷积神经网络对人脸头部的姿势角度进行预测，然后利用最近邻的方法来选择头部姿势角度最为接近的人脸形状作为初始化形状，最后再通过级联回归的方法逼近真实形状。Zhang等在TCDCN[19,20]提出了在对人脸的主要特征点的位置受到人脸头部姿势、表情、性别等其它脸部附加因素的影响，构建深度学习网络对人脸的主要特征点进行估计的同时，对附加信息进行估计并使用多任务深度学习框架来增加算法的鲁棒性。Zhu[21]等提出通过构建卷积神经网络来解决3D人脸对齐问题，首先对图片进行3D建模，得到角度参数、形状参数和表情参数，然后利用这些3D建模之后图片的作为训练数据构建卷积神经网络来对图片人脸的这些参数进行预测，可以精确实现3D人脸对齐。在实现2D人脸对齐时，直接采取3D人脸的2D坐标形状作为初始化形状，没有考虑到2D状态下可见点和非可见点的区别，因此在解决2D人脸对齐时效果不太理想。本文提出基于局部形状组合模型的人脸对齐算法试图根据平均脸来构建一个更准确的人脸作为初始化形状，算法主要分为两个阶段，第一个阶段本文提出通过构造一个局部形状组合模型来构建组合脸。首先根据人脸基准点的分布特点，把人脸形状分为五个部分，分别是脸部轮廓区域、眉毛区域、眼睛区域、鼻子区域、嘴巴区域。由于不同人脸形状不仅存在一些差异性，同样也存在一些相似性，例如：不同姿态、表情的不同人脸使用平均脸作为初始化形状，对应基准点表示的语义具有一定的相似性。因此局部形状组合模型利用平均脸作为初始化形状，对训练图片人脸的局部形状进行分类，然后分别选择最像标准人脸的局部形状构建一个组合脸。这个组合脸和标准形状的误差可能比平均脸与标准形状的误差小，也可能比它大，因此本文提出一个基于组合二值特征的决策机制来选择平均脸或组合脸。第二个阶段利用第一个阶段确定的人脸作为初始化人脸形状，进行多次线性回归，来逼近标准人脸。和现有的级联回归算法使用平均脸作为初始化形状相比，局部形状组合模型具有以下两方面的优势：1）对人脸表情、头部姿势、光照变化差异具有更强的鲁棒性。局部形状组合模型能根据人脸头部姿势和表情准确选择较优的局部形状来组合成一个新的人脸，例如：局部形状组合可以使用A类轮廓、B类眼睛、C类鼻子、D类眉毛和E类嘴巴来组合成一个人脸，由于选择的各个局部形状与测试人脸都很相似，只要各个局部形状插入的位置和标准形状相差不是很大，最后得到的组合脸有很大可能会优于平均脸。2）对平均脸的依赖性降低。由于不再是简单的使用平均脸作为初始化形状，而是根据平均脸使用局部形状组合模型来构建组合脸，在平均脸与标准形状相差大的时候，局部形状组合模型可以有效的减少初始化误差；在平均脸与标准形状人脸相差小的时候，局部形状模型可以更精确的定位局部形状的中心，从而使组合脸的误差更小。实验结果表明：局部形状组合模型构建的组合脸能够有效的提升初始化形状的表示能力，对最后的算法结果也有一定程度上的提高。本文剩余部分组织如下：第二部分，介绍本文引用的一些模型；第三部分，介绍局部形状组合模型以及决策机制；第四部分，展示实验的设置及结果；第五部分，总结全文。4 计算机学报 2017年2相关工作在人脸对齐问题中，根据人脸包含的基准点的坐标来对人脸进行建模，将人脸基准点的坐标按照一定的次序连接起来构成一个向量，一个包含N个基准点的人脸形状向量可以表示为S：[ ]1 1 2 2, , , , , ,N NS x y x y x y = L (1)人脸对齐主要就是猜测一个形状S使得它与标准形状*S的误差最小：*2S S - (2)式（2）中，S代表估计形状，*S表示标准形状。在此部分，本节以LBF算法框架为基础，介绍LBF算法的基本原理。2.1 LBF算法的基本原理在LBF[11]算法中，提出最具有判别性的纹理特征位于前一阶段确定的基准点所在的局部区域，为每一个基准点提取其所在局部区域的纹理特征，然后把所有基准点的特征串联起来增强形状约束进行级联回归，这种方法是行之有效的。在提取某一个基准点的纹理特征时，在该基准点所在局部区域取多个像素点对，根据这些像素点对的像素差值的关系来为每一个基准点构建一个随机森林。对于每一张训练图片，以平均脸作为初始化形状遍历这个森林，能够到达的叶子结点标记为1，其余标记为0，得到对应的局部二值特征。实验初期，初始化形状基准点的位置与对应标准形状基准点的位置相差较远，此时通过扩大基准点的邻域半径来提取更有效的特征，实验后续阶段预测人脸的基准点慢慢逼近标准形状的基准点，此时缩小邻域半径来提取有效的特征。这种特征更准确、计算代价小、计算速度快，可以大大提高算法的效果和速度。和基于形状回归的算法原理一致，LBF算法首先在平均脸的基准点上（邻域）提取局部二值特征，所有基准点的特征组成一个全局二值特征向量0f，该特征向量与人脸标准形状上提取的特征向量*f有一定的差异，该类算法直接估计出平均脸和标准形状的差异* 0x x - 与对应的特征向量之间差异* 0f f - 的关系1 kR-：( )1 1 1 * 1 1 1 1 k k k k k k k kx x R x R b f f f- - - - - - -= + - = + + （3）式（3）中，1 kx-表示第k轮估计之前的人脸初形状（k=1,0x对应平均脸），1 kf-根据人脸形状1 kx-提取的（全局二值）特征向量，*f表示根据标准形状提取的（全局二值）特征向量。1 kb-表示偏项，1 kR-可以通过优化目标函数(式（4）)得到。2*,argminik iikki ik k kR ddxx R b f D - - åå （4）式（4）中，id表示第i张训练图片，ikx表示第i张图片在第k轮迭代之前的人脸形状。在训练阶段求解得到kR、kb之后，测试阶段利用平均脸作为初始化形状，对测试人脸形状进行优化，以逼近真实形状。1 1 1 1i ik k k k kx x R b f- - - -= + + （5）LBF算法的性能在很大程度上依赖于初始化形状（平均脸）的选择，初始化形状的好坏直接影响算法的收敛速度和最终算法的性能。因此，如何构建一个合适的、准确的人脸作为初始化形状，增强算法对人脸表情、头部姿势、光照条件差异的鲁棒性，成为LBF算法需要解决的主要问题。3基于局部形状组合模型的人脸对齐算法现有的基于回归的人脸对齐算法大部分都是采用平均脸作为初始化形状，然后通过级联回归的办法来逼近标准形状。这种方法的优势在于当测试人脸的形状和平均脸比较相似的时候，最后的预测形状和标准形状的误差可以很小，但是当人脸表情、姿势差异比较大的时候，平均脸和测试人脸的差异较大，即使通过更多次的级联回归也不能有效的减小预测形状和标准形状之间的误差，这时候就需要找到一个比平均脸更具有代表能力的人脸形状作为初始化形状，本文提出的局部形状组合模型可以改善这个问题。局部形状组合模型利用平均脸作为初始化形状,在每个局部形状包含的特征点的邻域内提取特征对所有训练图片人脸的局部形状进行分类，然后分别选择最像标准人脸的局部形状构建一个组合脸。这个组合脸比平均脸与标准人脸的误差更小，这样也就论文在线出版号No.65 万俊等：基于局部形状组合模型的人脸对齐 5找到了一个比平均脸更具有代表能力的人脸作为测试人脸的初始化形状。图1 人脸形状划分根据这种思想以及人脸形状基准点的分布特点，本文首先把人脸形状分成五大部分，分别是脸部轮廓、眉毛区域、眼睛区域、鼻子区域以及嘴巴区域，见图1。假设第k个区域的最后一个基准点对应的编号用 ( )00kn n = 表示。例如：第一个部分对应的所有基准点编号用[ ]0 11, , n n + L 表示。每一个部分对应一个人脸局部形状，可以用式（6）表示：1 1K Kii k k ik kS x S p= == = å åo (6)在式（6）中，iS表示第i个训练样本的标准人脸形状，它是2N维的列向量，N表示每个人脸形状包含的基准点的个数，k iS p o 表示在iS中选择人脸第k部分包含的基准点对应的行，即： ( )12 1, ,2k kn n-+ é ùë ûL ，没选中的行的元素为0。ikx表示第i个人脸训练样本第k个部分的局部形状，它是一个2N维的列向量。利用平均脸作为初始化形状，对训练图片的人脸形状分别按照不同局部形状包含的基准点的特征（sift[15]特征、hog[22]特征）来构建随机森林进行分类，每个叶子结点存放对应的局部形状。对于每一张测试图片，首先利用平均脸作为初始化形状，对随机森林进行遍历得到最像该测试图片人脸的局部形状，然后利用平均脸各个局部形状的中心和已经选择的脸部轮廓对应的人脸各局部形状的中心将选择出来的局部形状组合起来，得到组合脸。组合脸可能比平均脸更接近标准人脸形状，也可能与标准人脸形状的误差较大，此时需要一个决策机制，这个决策机制能够选择组合脸和平均脸中与标准人脸误差更小的一个。将决策机制选择的人脸形状作为下一阶段的初始化形状，然后利用级联回归来调整当前形状，以使其更加逼近标准形状。整个过程如图2：图2基于局部形状组合模型人脸对齐算法的全过程6 计算机学报 2017年3.1 局部形状组合模型现有的基于回归的人脸对齐算法大部分都是采用平均脸作为初始化形状，然后通过级联回归的办法来逼近标准形状。当人脸表情、姿势差异比较大的时候，平均脸和测试人脸的差异较大，即使通过更多次的级联回归也不能有效的减小预测形状和标准形状之间的误差，这时候就需要找到一个比平均脸更具有代表能力的人脸形状作为初始化形状，本文提出的局部形状组合模型可以改善这个问题。下面主要分构建人脸局部形状子空间、求解人脸局部形状子空间的中心以及组合人脸形状三个部分来介绍该模型。3.1.1 构建局部形状子空间局部形状组合模型首先根据人脸形状基准点的分布特点可以将人脸形状分成5个部分，训练阶段需要把训练图片集分别根据人脸不同局部形状包含的基准点的特征（hog[22]特征、sift[15]特征）进行分类，分类得到的同一类图片，就认为其相应的局部形状比较接近，不同类的图片认为其相应人脸局部形状差别较大。局部形状组合模型采用随机森林的分类方法，根据人脸形状的五个组成部分包含的基准点的特征差异来构建五个随机森林。第一个森林根据人的脸部轮廓包含的基准点的特征差异进行构建，到达同一个叶子结点的图片作为一类，认为这些图片的人脸轮廓具有一定的相似性，同时叶子结点存放的该类人脸轮廓对应的形状，其它非叶子结点存放的是分类的规则。同样根据人脸其它局部形状的基准点的特征可以构建其它的森林。在森林构建过程中，到达同一个叶子结点的局部形状有很多个，这些局部形状的集合就构成了一个人脸局部形状子空间，这个子空间可以表示成：{ } ,1lNjl kjx=（7）在式（7）中，用,jl kx 表示人脸第k个部分（嘴巴、鼻子）在第l个叶子结点的第j个形状，第l个叶子结点包含对应人脸局部形状的个数为lN个。训练阶段，五个随机森林构建完以后，需要以平均脸作为初始化形状去遍历这五个森林，找到最接近该训练图片人脸形状的各个局部的形状，然后再按照适当的规则来构建组合脸。测试阶段需要利用到训练阶段构建好的森林，也同样以平均脸作为初始化形状去遍历这五个随机森林，找到与测试图片人脸最接近的人脸局部的形状，然后再构建组合脸。3.1.2 求解人脸局部形状子空间的中心人脸局部形状子空间构建完以后，子空间的中心对应该类人脸的局部形状，子空间的中心可以表示成：, ,1ˆlNj jkl kljX x w==å （8）要求解这个局部形状子空间的中心，只需要确定该子空间内每一个局部形状的权值jw即可。在求解对应的局部形状的权值的时，采用优势集方法[23]（dominantsetapproach），即对于那些比较相似的、能够聚成一类的形状给予比较大的权值，而那些边界的形状给予比较小的权值。这个问题可以通过类似于求无向图的最大子团来解决。首先构建一个无向图G=（V，E），顶点V表示达到该叶子结点的局部的形状，E可以通过下式来定义：( )( ), ,, ,,exp ,0 ,p qpq kl klp qkl kla simx xx x p qp qb=ì- - ¹ï=í= ïî（9）式（9）中所有的pqa 的值组成矩阵A，为了避免自循环（self-loops），矩阵A的所有主对角线元素的值全部为0，根据文章[23，24],可以通过下式来求解最终的权值jw：( )( ) ( ) ( )( ) ( )t tt+1t tj jjTj jAAw www w=o（10）在式（10）中t表示迭代的次数，o表示初等乘法，经过多次迭代可以求出最终的jw。3.1.3 组合人脸形状在对人脸局部形状子空间进行构建以后，采用类似求无向图的最大子团方法，局部形状组合模型可以求出所有子空间的中心，即局部形状。至此，整个随机森林已经构建完毕。然后需要使用平均脸作为初始化形状去遍历这五个随机森林，到达的叶子结点存放的是与测试人脸形状最相似的局部形状，接下来需要把这些局部形状组合成完整的人脸形状。对于某一个训练图片人脸，用平均脸作为初始化形状，遍历第k个森林里面的每一棵树（每个森林M棵），可以到达多个（M个）叶子结点，每一个叶子结点代表的是该类的分类结果，对应的局部形状用,ˆklX 表示，取这M叶子结点表示的局部形状的平均值，作为该图片在组合模式下对应的局部形状，第i张训练图片对应的局部形状可以表示成式（11）：,1ˆMmkli mkXxM==å(11)论文在线出版号No.65 万俊等：基于局部形状组合模型的人脸对齐 7人脸的轮廓形状在很大程度上决定了其它局部形状的中心位置，所以在求解人脸轮廓形状的时候，其它部分的形状暂时保留（公式（6）中1p选择所有的行），借助这些可以求出其它区域的中心：1111, 2,3, ,kknill nkk kxP k Kn np-= +-= =-å oL (12)式（12）中1ilx po 表示选择1ix的第( ) 2 1,2 l l - 行的元素。kP表示根据脸部轮廓来确定的第k个部分的形状的中心点。接下来求ikx的实际中心点ˆkP，即选择出来的与测试人脸最相似的局部形状的实际中心点：111ˆ, 2,3, ,kknil kl nkk kxP k Kn np-= +-= =-å oL (13)把得到的人脸的局部形状根据由轮廓决定的其它人脸局部形状的中心点插入进去，可以得到组合脸。( ) ( )( )11 12111 121ˆkkKT i ii k k kkni il kKl nT i ikkk kS x x P Px xx xn nppp-== +=-= + +L -æ ö æ ö-ç ÷ ç ÷ç ÷ ç ÷= + +Lç ÷ ç ÷ -ç ÷ ç ÷è ø è øåååo (14)上式1p选择人脸轮廓部分对应的行（同公式（6）的1p），L是一个2N×2的矩阵：1 0 1 0 1 00 1 0 1 0 1Tæ öL=ç ÷è øLL(15)根据人脸脸部轮廓确定的其它局部形状的中心位置有时候会与其标准形状的中心点位置偏差较大，因此在实际构建组合脸时，本文取平均脸的局部形状的中心点和由轮廓决定的局部形状的中心的平均值，可以有效的减少误差，用式（16）表示：1 12ˆ2KT i i k ki k kkP PS x x P p=æ ö æ ö += + +L - ç ÷ ç ÷ç ÷è ø è øå%(16)式（16）中P%对应平均脸形状下第k个局部形状的中心。3.2 基于组合二值特征的决策机制新组合的人脸形状可能比较接近标准形状，也可能和标准形状误差较大，因此需要一个决策机制来选择组合脸和平均脸中误差更小的一个作为下一阶段的初始化形状。而训练阶段标准形状是已知的，因此训练时可以分别计算出组合脸以及平均脸与标准形状的误差，如果组合脸与标准形状的误差更小，标记为+1，否则标记为-1，选择误差更小的形状作为第二阶段的初始化形状。这是一个二分类问题，假设这种分类结果和构建组合脸时的局部形状的组合方式之间存在一定的联系，即把组合方式看成是特征，这个特征的每一位是0或者1，又称二值特征。根据前面对训练图片的局部形状进行分类构建的随机森林，使用平均脸作为初始化形状，提取特征向量，然后遍历每一个森林可以得到部分二值特征，把部分二值特征串联起来就可以得到全局的组合二值特征,见图3：图3组合二值特征支持向量机在小规模训练样本上具有很高的准确率，利用上面的组合二值特征使用SVM[25]解决这个二分类问题。( )11min : ,2lT i iiC ywww xw=+ F å (17)式（17）中iF表示这里的组合二值特征，iy表示标记（label）, { } 1, 1iyÎ- + ,当 0 Cf 时，C是惩罚系数，惩罚项的引入是为了增强算法的泛化能力。在测试阶段通过遍历森林可以得到组合二值特征，根据训练阶段训练得到的分类模型，利用该组合二值特征可以预测出label的值，根据label的值选择组合形状还是平均形状。3.3 根据选择的人脸初始化形状学习全局线性回归矩阵tW得到初始化形状以后，需要在其基准点的局部区域取多个像素点对，根据这些像素点对的像素差值的关系为每一个特征点构建一个随机森林，遍历这个森林可以得到对应的局部二值特征，将所有特征点的局部二值特征联立起来组成全局二值特征，利用该全局二值特征通过最小化下面的目标函数可以学习得到全局线性回归矩阵tW：( )221221ˆmin ,tNt t t t ti i iWiS W I S W l-=D - F + å （18）式（18）中第一个部分是回归的目标函数，第二个部分是tW的L2正则项，l控制正则化强度，由于特征的维8 计算机学报 2017年数很高，所以这里的正则化处理不可以忽略。3.4 基于局部形状组合模型的人脸对齐算法算法1对整个算法的过程作了一个概括的描述，算法1的输入是所有的训练图片集{ }1NiiI=，1-14步主要用来构建局部形状模型，首先根据平均脸来构建人脸各个部分的随机森林对训练图片的人脸局部形状进行分类，遍历这些森林可以得到合适的局部形状和组合二值特征，然后按照一定的方式利用这些合适的局部形状构建组合脸，再使用支持向量机和组合二值特征来构建决策机制，完成对平均脸和组合脸的正确选择。15步采用文章[11]提出的方法使用前一阶段确定的人脸作为初始化形状来对初始化形状进行优化逼近标准人脸。算法输出为随机森林forest1、forest2，w，tW。w为式（15）中使用支持向量机用来分类的超平面的参数，tW为3.3提出的全局线性回归矩阵。算法1. 基于局部形状组合模型的人脸对齐算法.输入：训练图片集{ }1NiiI=输出:随机森林forest1、forest2，w，tW1 利用平均脸作为初始化形状计算sift特征以及其与标准形状的误差iS D2 分别根据各部分包含的基准点的sift特征以及iS D构建随机森林forest13 FORk=1,2,3,…,K4 IFk==1THEN5 利用平均脸作为初始化形状，遍历随机森林forest1，找到最优的人脸局部形状1ix，得到组合特征1ij6 计算其它局部形状的中心点kP7 ELSE8 利用平均脸作为初始化形状，遍历随机森林forest1，找到最优的人脸局部形状ikx，得到组合特征ikj9 ENDIF10 ENDFOR11组合脸1 12ˆ2KT i i k ki k kkP PS x x P p=æ ö æ ö += + +L - ç ÷ ç ÷ç ÷è ø è øå%12 计算组合二值特征 ( )1 2, , ,i i i ikjj j F= L13 分别计算每个训练图片的平均脸与组合脸和标准人脸的误差，设置标记iy14 训练参数w，利用训练得到的w的值来决定选择平均脸还是组合脸作为下一阶段的初始化形状15 使用全局二值特征，构建随机森林forest2，训练全局线性回归矩阵tW4实验数据库人脸对齐的数据库有很多，本文选择最经常使用的LFPW[26]、Helen[10]、300-W[27]和IBUG[27]数据库。这些数据库包含了人脸表情、头部姿势、光照差异较大的大量图片。Helen[10]（194landmarks）总共包含2300张高分辨率的图片，采用现有的论文的作法，把其中的2000张作为训练图片，其余的300张作为测试图片。图片的高分辨率对精确的人脸对齐有很大的作用，基准点的数目越多，在第一阶段的人脸局部形状的分类就越精确，得到的组合人脸就越准确。300-W[27]（68landmarks）是现有的数据库的组合，其中包含LFPW[5]、AFW[28]、Helen[10]以及IBUG[27]。训练集包含AFW[28]、LFPW[5]的训练集和Helen[10]的训练集，总共3148张图片。测试集包含IBUG[27]、LFPW[5]的测试集和Helen[10]的测试集，总共689张图片。评价标准采用[6,9]的标准，采用瞳孔间距归一化误差。对于Helen[10]和300-W[27]数据库，分别计算所有图片所有基准点的归一化误差的平均值，结果是用百分数来表示的，文章中都省略了百分号。接下来，我们把LSBC算法和现有的一些人脸对齐算法进行了比较。4.1和现有人脸对齐法的比较在算法训练过程中，采用类似于文章[9]提出的数据扩展方法，实验过程中由于训练集比较小，如果人工再去收集大量的图片以及标定人脸基准点耗时耗力，为了增强算法的泛化能力，本文通过为每一张训练图片随机选择多个人脸形状作为人脸初始化形状来扩大训练集，增强算法对人脸表情、姿势、光照条件差异变化的鲁棒性：每一张训练图片使用随机抽取多个训练图片人脸形状作为初始化形状来扩大训练集，实验时共5个（根据局部形状组合模型得到的人脸形状和4个随机形状），但是在测试阶段仅采用局部形状组合模型得到的人脸形状作为初始化形状。论文在线出版号No.65 万俊等：基于局部形状组合模型的人脸对齐 9LSBC算法与LBF算法的差别主要在于LSBC算法多了一个阶段，这一个阶段用来产生组合脸，然后用决策模型进行选择，如果第一个阶段选择都是平均脸作为初始化形状，则LSBC算法就变成了LBF算法；如果是根据决策模型进行的选择，既有平均脸又有组合脸，则变成了LSBC算法。LSBC算法在第一个阶段的参数设置如下：循环的次数1fT = ，300-W[27]数据库（68-landmarks）下森林中树的层数分别为4、2、2、2、4对应人脸的轮廓区域、鼻子区域、眉毛区域、眼睛区域以及嘴巴区域，Helen[10]数据库（194-landmarks）下森林中树的层数分别为5、4、5、5、5，其中鼻子区域对应的树的层数为4。森林中树的数量100fN= 。算法在第二阶段的参数设置与LBF算法相同：级联回归的次数 6ST= ，森林中树的层数 7SD= ，森林中树的数量 1200SN= 。表1 局部形状组合模型在300-W[27]数据库（68-landmarks）和Helen[10]数据库（194-landmarks）与平均脸的比较（省略%）数据库 平均脸误差 最佳误差 实际误差 准确率300-W(68-pts) 18.152 16.87 17.06 93.5Helen(194-pts) 17.17 15.09 15.23 95.6局部形状组合模型与平均脸比较局部形状组合模型可以改善初始化形状表示能力不足的问题，本文在训练阶段分别计算根据局部形状组合模型构建的组合脸和原始平均脸与标准人脸的误差，表1给出了局部形状组合模型的一些实验结果，表明1）局部形状组合模型得到的新的人脸在表示能力上优于平均脸；2）使用组合二值特征，利用支持向量机来进行分类可以得到不错的效果（准确率）。平均脸误差表示用平均脸作为初始化形状与标准形状的平均误差（归一化误差），实际误差指根据组合二值特征选择组合脸或平均脸后再与标准形状计算得到的平均误差，准确率指根据组合二值特征正确选择组合脸或平均脸的概率，最佳误差指选择都正确的情况下与标准形状的平均误差。从平均脸误差和实际误差比较可以得到，使用局部形状组合模型能够缩小初始化形状的误差（降低6%（68pts），降低12%（194pts）），初始化形状误差的减小对最终算法结果会产生积极的影响，这些积极影响导致最终算法的效果的提升。局部形状组合模型局部形状中心点选择本文使用局部形状组合模型选择合适的局部形状之后，需要根据局部形状的中心点将对应局部形状组合起来构建组合形状。局部形状的中心点是根据由人脸轮廓确定的中心点和平均脸确定的中心点共同决定的（取均值），人脸的轮廓是根据局部形状组合模型得到的，人脸轮廓在很大程度上决定了人脸的姿势，因此把人脸轮廓确定的中心点也考虑进来。平均脸中心点误差指采用平均脸的局部形状的中心点和经过局部形状组合模型选择的局部形状构建组合脸，再与平均脸计算误差。轮廓中心点误差指采用轮廓决定的局部形状的中心点和经过局部形状组合模型选择的局部形状构建组合脸，再与平均脸计算误差。两者均值误差指中心点采用平均脸的局部形状的中心点和由轮廓决定的局部形状的中心点的平均值，最后再与平均脸计算误差。表2给出了不同的局部形状中心点下组合脸的误差分析实验结果，表明1）在大多数情况下，局部形状组合模型选择的局部形状比平均脸的局部形状更准确；2）在大多数情况下，由轮廓决定的中心点没有平均脸决定的中心点准确。本文把轮廓决定的中心点考虑进来的原因在于增强算法对姿势变异的鲁棒性（在人脸姿势变异较大时，平均脸中心点不准确，人脸轮廓决定的中心点反而更准确；3）相比于平均脸中心点误差和轮廓中心点误差，该误差介于两者之间，更接近于平均脸中心点误差。在平均脸中心点和轮廓中心点的权值关系如何确定上，作者没有作过多的考虑，后续决策模型的提出也可以避免组合脸中心点取值不准确时被选择为初始化形状（在此情况下，选择平均脸作为初始化数据）。平均误差比较本文主要和一些基于形状回归的算法进行比较，其中包括SDM[8]、ESR[9]、LBF[11]。我们对这三个算法进行了实现，并且实验达到了原文的相应效果。对于与其他一些算法的比较，我们直接采用的是原文给出的结果，表3给出了LSBC算法与其他一些算法的误差比较结果。从表3可以看出，LSBC算法在LFPW、Helen以及300-W数据库上的实验效果都优于当前的一些算法[4][8-11][16][28-29]。在300-W数据库commonsubset下，本文算法4.73，LBF算法4.95，算法性能提升了4.44%，在300-W数据库challengingsubset下,本文算法9.77，LBF算法11.98，算法性能提升表2 不同的局部形状中心点下组合脸的误差分析实验结果数据库 平均脸误差 平均脸中心点误差 轮廓中心点误差 两者均值误差 最佳误差 实际误差300-W(68pts) 18.152 17.33 18.37 17.58 16.87 17.0610 计算机学报 2017年Helen(194pts) 17.17 15.47 17.16 15.59 15.09 15.23了18.4%。，结果说明局部形状组合模型和决策模型可以有效增强算法对姿势、表情、光照差异比较大的人脸图片的鲁棒性。误差累积曲线比较为了更好的将LSBC算法与其他的算法比较，给出了LSBC算法以及另外几个算法的CED曲线(误差累积曲线)，图4表明在300-Wcommonsubset(68-pts)以及300-Wchallengingsubset(68-pts)LSBC算法具有最优的效果。图5提供了几个LSBC算法和另外三个算法[8-9][11]在某些测试图片实例上的比较。从这些实例图片中可以看出，在人脸表情、头部姿势、光照变换差异比较大的情况下，LSBC算法的优越性。再一次证明LSBC模型可以降低初始化形状对平均脸的依赖以及增强算法对人脸头部姿势、面部表情、遮挡和光照条件差异的鲁棒性。时效性比较本文是基于LBF算法进行改进的，比LBF算法多一个阶段，在这个阶段进行sift[15]特征的提取需要消耗一定的时间，但是由于这个阶段只需要提取一次sift特征，在后续级联回归阶段，仍然采用计算简单、计算速度快的局部二值特征，所以在时效性上还是优于一些其他的算法。LSBC算法使用C++代码实现，在i5四核CPU、2.3GHZ主频，算法的速度可以达到22fps，同一机器上LBFfast算法达到280fps（原文LBF-fast算法可以达到3000fps），LBF算法达到61fps，LSBC和LBF的参数设置基本相同，只是多了一个阶段,另外如果在第一个阶段采用hog[15]特征、brief[30]特征，相信LSBC算法在时效性上可以得到进一步的提升。表3LSBC算法与其他一些算法误差比较结果（省略%）LFPWDataset HelenDataset 300-WDataset(All68points)Method68-pts49-pts194-pts68-pts49-ptsCommansubsetChallengingsubsetFullsetZhuet.Al[28]8.29 7.78 - 8.16 7.43 8.22 18.33 10.20DRMF[4]6.57 - - 6.70 - 6.65 19.79 9.22ESR[9]- - 5.70 - - 5.28 17.00 7.58RCPR[10]6.56 5.48 6.50 5.93 4.64 6.18 17.26 8.35SDM[8]5.67 4.47 5.85 5.50 4.25 5.57 15.40 7.50GN-DPM[13]5.92 4.43 - 5.69 4.06 5.78 - -CFAN[16]5.44 - - 5.53 - 5.50 - -ERT[29]- - 4.90 - - - - 6.40LBF[11]- - 5.41 - - 4.95 11.98 6.32LBFfast[11]- - 5.80 - - 5.38 15.50 7.37LSBC 4.80 - 4.83 4.68 - 4.73 9.77 5.74(a)ced曲线（300-Wcommansubset68-pts）(b)ced曲线（300-Wchallengingsubset68-pts）论文在线出版号No.65 万俊等：基于局部形状组合模型的人脸对齐 11图4 累积误差曲线比较（LSBC算法和当前一些其他的算法的比(a)(b)图5 (a)LSBC算法优于其他算法的一些测试图片实例(b)前两行对应300-W(68-pts)数据库challengingsubset下，LSBC算法更多实例，最后一行为Helen(194-pts)的本算法对应实例5结论头部姿势、表情变化和遮挡是人脸特征点提取所面临的经典难题，近年来也出现了很多处理这三方面问题的思路和方法，取得了一定进展．但目前在实际应用中，尤其在实时低图像质量条件下，对于这类难题的处理还难以令人满意．尤其当姿态、表情发生快速和剧烈改变，以及遮挡比例较大时，现有方法的精度距离实际应用的要求还有较大差距，需要进一步研究和提升。在基于形状回归的算法中，初始化形状的选择对最终的算法结果影响至关重要，一个准确的、合适的初始化形状不仅能够加快算法的收敛速度，还能提升最终算法的性能。本文提出的基于局部形状组合模型的人脸对齐算法是一种简单且具有较强的鲁棒性的人脸对齐算法，在构建初始化形状的过程中充分考虑了人脸的姿态和表情因素，大大减小了初始化误差。通过使用局部形状组合模型构建组合脸作为初始化形状和基于组合二值特征的决策机制，对最终的算法性能有了一定程度上的提高。使用局部形状组合模型可以降低初始化形状对平均脸的依赖以及增强算法对人脸头部姿势、面部表情、遮挡和光照条件差异的鲁棒性，使用基于组合二值特征的决策机制可以以很高的准确率选择组合脸或平均脸作为初始化形状，对最终的实验结果也有一定程度的提高。为了获得更小的算法误差和更好的算法性能，未来我们将着手使用深度学习研究一些新的框架来解决人脸对齐问题。致 谢 特别感谢本文审稿专家和编辑老师提出的宝贵意见和建议！12 计算机学报 2017年参考文献[1] CootesTF,TaylorCJ,CooperDH,GrahamJ.Activeshapemodels-theirtrainingandapplication.Computervisionandimageunderstanding,1995,61(1):38-59[2] MatthewsI,BakerS.Activeappearancemodelsrevisited.InternationalJournalofComputerVision,2004,60(2):135–164[3] SauerP,CootesTF,TaylorCJ.Accurateregressionproceduresforactiveappearancemodels//ProceedingsoftheBritishMachineVisionConference.Dundee,Scotland,2011:681-685[4] AsthanaA,ZafeiriouS,ChengS,PanticM.Robustdiscriminativeresponsemapfittingwithconstrainedlocalmodels//IEEEConferenceonComputerVisionandPatternRecognition.Portland,USA,2013:3444-3451[5] CootesTF,EdwardsGJ,TaylorCJ.Activeappearancemodels.IEEETransactionsonPatternAnalysisandMachineIntelligence,2001,23(6):581-585[6] CristinacceD,CootesT.Featuredetectionandtrackingwithconstrainedlocalmodels.//ProceedingsoftheBritishMachineVisionConference.Edinburgh,UK,2006:929-938[7] AsthanaA, ZafeiriouS, CHENGShi-yang, PanticM. IncrementalFaceAlignment intheWild.//ProceedingsoftheIEEEConferenceonComputer VisionandPatternRecognition. Columbus, USA, 2014:1859-1867[8] XiongXue-han,TorreFDL.Superviseddescentmethodanditsapplicationstofacealignment.//ProceedingsoftheIEEEConferenceonComputerVisionandPatternRecognition.Portland,USA,2013:532-539[9] CaoXu-dong,WeiYi-chen,WenFang,SunJian.Facealignmentbyexplicitshaperegression.InternationalJournalofComputerVision,2014,107(2):177-190[10]Burgos-ArtizzuXP,PeronaP,DollarP.Robustfacelandmarkestimationunderocclusion.//ProceedingsoftheIEEEInternationalConferenceonComputerVison.Sydney,Australia,2013:1513-1520[11]RenShao-qing,CaoXu-dong,WeiYi-chen,SunJian.Facealignmentat3000fpsviaregressinglocalbinaryfeatures.//ProceedingsoftheIEEEConferenceonComputerVisionandPatternRecognition.Columbus,USA,2014:1685-1692[12]DollarP,WelinderP,PeronaP.Cascadedposeregression.//ProceedingsoftheIEEEConferenceonComputerVisionandPatternRecognition. SanFrancisco,USA,2010:1078-1085[13]TzimiropoulosG,PanticM.Gauss-newtondeformablepartmodelsforfacealignmentin-the-wild.//ProceedingsoftheIEEEConferenceonComputerVisionandPatternRecognition.Columbus,USA,2014:1851-1858[14]SmithBM,BrandtJ,LinZ,ZhangL.Nonparametriccontextmodelingoflocalappearanceforpose-andexpression-robustfaciallandmarklocalization.//ProceedingsoftheIEEEConferenceonComputerVisionandPatternRecognition.Columbus,USA,2014:1741-1748[15]LoweDG.Distinctiveimagefeaturesfromscale-invariantkeypoints.InternationalJournalofComputerVision,2004,60(2):91–110[16]ZhangJie,ShanShi-guang,KanMei-na,ChenXi-lin.Coarse-to-fineautoencodernetworks(CFAN)forreal-timefacealignment.//ProceedingsoftheEuropeanConferenceonComputerVision.Zurich,Switzerland,2014:1-16[17]ZhuShi-zhan,ChenLi.LOYChen-change,TangXiao-ou..FaceAlignmentbyCoarse-to-FineShapeSearching. //ProceedingsoftheIEEEConferenceonComputerVisionandPatternRecognition.Boston,USA,2015:4998-5006[18]YangHeng,MouWen-xuan, ZhangYi-chi. Facealignmentassistedbyhead pose estimation.//Proceedings of the British Machine VisionConference.Swansea,UK,2015:371-385[19]ZhangZhan-peng, LuoPing, LoyChen-change, TangXiao-ou.FacialLandmarkDetectionbyDeepMulti-taskLearning. // Proceedings ofthe EuropeanConference onComputer Vision. Zurich, Switzerland,2014:94-108.[20] Zhang Zhan-peng, Luo Ping, LOY Chen-change, TANGXiao-ou.Learning Deep Representation for Face Alignment withAuxiliaryAttributes. IEEETransactions on Pattern Analysis andMachineIntelligence.2016,38(5):918-930[21] ZhuXiang-yu, Lei Zhen, LiuXiao-ming, Shi Hai-lin, Li SZ. FaceAlignment Across LargePoses: A3DSolution. // Proceedingsof theIEEEConferenceonComputer VisionandPatternRecognition. LasVegas,USA,2016:146-155[22] Dalal N, Triggs B. Histograms of oriented gradients for humandetection.// ProceedingsoftheIEEEComputerSocietyConferenceonComputer VisionandPatternRecognition. SanDiego, USA, 2005:886-893[23] PavanM, PelilloM. Dominant sets andpairwise clustering. IEEETransactions on Pattern Analysis and Machine Intelligence, 2010,29(1):167–172[24]WeibullJW.Evolutionarygametheory.London,England:MITpress,1997[25]FanRon-en,ChangKai-wei,HsiehCJ,WangXiang-rui,LinChi-jen.LIBLINEAR:ALibraryforLargeLinearClassification.JournalofMachineLearningResarch,2008,9(9):1871-1874论文在线出版号No.65 万俊等：基于局部形状组合模型的人脸对齐 13[26]BelhumeurPN,JacobsDW,KriegmanD,KumarN.Localizingpartsoffacesusingaconsensusofexemplars.//ProceedingsoftheIEEEConferenceonComputerVisionandPatternRecognition.Colarodo,USA,2011:545–552[27] Saragih J M, Lucey S, Cohn J F. Deformable model fitting byregularized landmarkmean-shift. International Journal of ComputerVision,2011,91(2):200–215[28]ZhuXiang-xin,RamananD.Facedetection,poseestimation,andlandmarklocalizationinthewild.//ProceedingsoftheIEEEConferenceonComputerVisionandPatternRecognition.Providence,RhodeIsland,2012:2879–2886[29]KazemiV,JosephineS.Onemillisecondfacealignmentwithanensembleofregressiontrees. //ProceedingsoftheIEEEConferenceonComputerVisionandPatternRecognition.Columbus,USA,2014:1867-1874[30]CalonderM,LepetitV,StrechaC,FuaP.BRIEF:Binaryrobustindependentelementaryfeatures.//ProceedingsoftheEuropeanConferenceonComputerVision.Crete,Greece,2010:778–792*WANJun, bornin1988. Ph.D. Candidatein Wuhan University. His main researchinterestincludefacerecognitionandfacealignment.LI Jing, bornin1967, professor andPh.D. supervisor inWuhanUniversity. Hiscurrent researchinterest includedataminingandpatternrecognition.CHANGJun,bornin1972,lecturerinWuhanUniversity.Hiscurrentresearchinterestincludemultimedianetworkcommunicationsandfacerecognition.WUYu-jia,bornin1986.Ph.D.CandidateinWuhanUniversity.Hismainresearchinterestincludedataminingandpatternrecognition.XIAOYa-fu,bornin1988.Ph.D.CandidateinWuhanUniversity.Hismainresearchinterestisvisualobjecttrackingandpatternrecognition.BackgroundIn recent years, face recognition has attracted wideattentionof scholars all over the world. Face alignment orlocatingsemanticfacial landmarkssuchaseyes, nose, mouthand chin, is essential for tasks like face recognition, facetracking, faceanimationand3Dfacemodeling. Theefficiencyandaccuracyof facealignment will cast adirect influenceonthealgorithmperformanceinlaterphases. Facealignment hassofar remaineda great challenge due tothe differences infacial expression, headposeandilluminationas well as thepartialocclusion.Therearealot of classical algorithms suchasAAM、ASM、SDM、ESR、LBF,whichachievedgoodperformanceiftherewerelittledifferences infacial expressions, headposesandilluminationbetweentest facesandtrainingfaces. Underthecommonsubset of300-wdatabase, thealignmenterrorcanreach4.95%,butinthechallengingsubsetofthesamedatabase,thealignmenterrorisnotgood(11.98%)，sohowtoreducethealignment error insuchcasesisthecurrent researchfocusofscholars.InCCFS, it presentsaCoarse-to-Fineshapesearchingforfacealignment whichachievedagoodperformance. It dividesthefacealignment intotwostages: coarsesearchingstageandfiner searching stage. In the first stage, a shape spacecontainingmanycandidateshapeswillbefirstlycreated.Whilechoosingasubspace for thesecondstage, thoseundesirableshapeswill bediscarded. Inthesecondstage, theremainingsubspacewill becontinuallyconvergedtoatinyone, whichiscapableofidentifyingfaceshape.Withthegreat advantagesof featureextractinganddatatraining, some scholars use deeplearningtodeal withfacealignment, andtheyhaveachievedbetterperformancebecauseof their first detectingof 5mainlandmarks andpre-trainingwithenormousquantityofexternal datasources. Wepresent aLocal-Shape-Based Combination (LSBC) model to create acombined shape, under most circumstances, the combinedshape is more powerful thanthemeanshape inprocessingcapability.Andthenwepresent adecision-makingmechanismto choose a better-initialized shape for subsequent phasesbetweencombinedshapeandmeanshape. TheLSBCmodelbasedonlocal shapeis, ononehand, useful inpreventingthefinal-predictedfacefromtrappingintolocal optimaduetoanundesirableinitializedfaceand, ontheother hand, capableofenhancingtherobustness of thisalgorithminterms of facialexpressions, head poses and illumination. The inter-pupil14 计算机学报 2017年distancenormalizedlandmarkerrorsofthisalgorithmunderthetwo databases 300-W（68-pts）and Helen(194-pts) arerespectively4.73%and4.68%,whichismoreprecisethansuchcurrentalgorithmsasLBF,ESRandSDM.