1一种基于局部特征分析的人脸识别方法一种基于局部特征分析的人脸识别方法 焦峰1山世光1崔国勤1高文1,2李锦涛1 1 (中国科学院计算技术研究所 ICT-YCNC 面像识别联合实验室，北京，100080) 2 (哈尔滨工业大学计算机学院智能人机接口实验室，哈尔滨，150001) 摘要摘要 本文在传统的弹性图匹配基础上， 提出了一种基于局部特征分析的人脸识别算法。 利用 人脸的先验结构和人脸图像的灰度分布知识， 先粗略地找出图像的特征点， 然后利用人脸弹 性图对特征点的位置进行调整， 最后在各个特征点处计算 Gabor 变化的系数。 整个人脸相应 地被表示成特征点处的 Gabor 系数集合。 我们用几种不同的距离来进行分类， 并给出测试结 果。相对于传统的弹性图匹配方法，由于特征点预先被估算出，而不是在整个图像上搜索， 所以大大减少了计算量。 关键字关键字 人脸识别, 特征定位, Gabor 变换系数向量集合, 人脸弹性图 1 引言引言 人脸识别是用计算机分析人脸图像，从人脸图像中提取有效信息，用于识别身份的技 术,因其在公安（罪犯识别等） 、安全验证系统、信用卡验证、医学、档案管理、视频会议、 人机交互系统等方面的巨大应用前景而越来越成为当前模式识别和人工智能领域的一个研 究热点12。人脸有复杂的三维表面结构，因而人脸知识的表达相对简单物体来说较为复 杂；同时面部肌肉的运动使得人脸成为一种非刚体目标，与刚性目标识别相比，识别更困 难。此外，所有人脸都具有相似的结构特征，而同一人的不同面部图像由于采集条件的变 化会发生较大的变化（对计算机而言） ，所以人脸识别算法必须挖掘不同类别间微妙而可靠 的差别。人脸识别的一些算法可以推广到一般的三维非刚体目标的识别上去，促进其它模 式识别问题的解决。 人脸识别作为图像匹配的一个子集， 和一般的图像匹配有一些区别。 一般的图像匹配是 从颜色、形状、纹理中提取特征，而人脸匹配是根据人脸的特征来识别。在人脸识别中，如 何描述人脸，即如何提取特征是最重要的一个环节。在现有的人脸识别算法中，比较流行的 有模板匹配法3，特征子脸法(即 Eigenface)4, 基于弹性图匹配方法5。 本文提出了一种新的识别算法， 利用人脸的先验结构知识和人脸图像的灰度分布知识， 先粗略找出人脸的特征点， 然后利用人脸弹性图来对其进行调整， 最后在各个特征点处计算 Gabor 变化系数集合, 并以此来表示人脸的特征。相对于传统的弹性图匹配方法，特征点预 先被估算出来，而不是在整个图中搜索，因此大大地降低了计算量。 本文组织如下：第一章为引言，第二章介绍本文自动人脸识别系统框图，第三章介绍人 脸的先验结构知识和人脸图像的灰度分布知识来粗略定位特征点， 第四章介绍利用人脸弹性 图对特征点精确定位，第五章介绍识别过程和实验结果，第六章是结论和展望。 2. 人脸自动识别系统框架人脸自动识别系统框架 2对于人脸图像，系统先根据模板匹配和特征子脸相结合的方法检测出人脸, 然后利用人 脸的先验结构和灰度分布信息，粗略定位特征点。为了精确定位特征点，我们用引入一种称 为人脸弹性图的数据结构来调整特征点。特征点被精确定位后，我们计算特征点处的 Gabor 变换系数向量集合, 并以此来表示整个人脸。最后计算测试样本和训练样本的 Gabor 变换系 数向量集合距离，得到并输出结果。 人脸检测是人脸识别的前期工作，本文继承了文献6,的工作，采用了一种模板匹配和 特征子脸相结合的两级检测模型， 该模型在各种图像条件下可以很好地工作。 由于人脸检测 不是本文的重点，而且由于篇幅限制，本文不做详细描述，感兴趣者可查阅相关文献。 以下各章将详细介绍系统以后每个步骤。 3 特征点定位特征点定位 人脸图像在灰度空间总是满足一定的分步，我们可以利用这一点来指导进行面部特征点 的粗略定位，以此作为后续特征点精确定位的基础。 3.1 眼睛定位眼睛定位 对于由人脸检测框定的人脸区域，首先进行区域的扩充，以使之包含全部的头部区域 A （包括大部分或者全部头发以及整个面部） ；然后在区域 A 中用多阈值进行二值化并合并， 在得到的二值图像 B 中，用区域标号算法对不同的“黑”连通区进行标号化，用预置的面 积阈值滤掉由于噪声造成的小的孤立连通区，可以认为位于区域 A 最上方的最大的连通 区 H 即为头发区域。 头发区域 H 确定后，对剩下的连通区域中搜索满足下列条件的连通区对 L 和 R： 1) L 和 R 的中心要在头发区域 H 的“下”方； 2) L 和 R 的下方一定距离内不能有其他的连通区域； 3) L 和 R 的中心横坐标差值不能过小； 4) L 和 R 的中心纵坐标差值不能太大； 5) L 和 R 在原图像对应区域内的频率要足够大； 特征点粗略定位 图 1 自动人脸识别系统框图 人脸检测 特征点精确调整 训练样本图像 测试样本图像 训 练 样 本Gabor 变换系数向量集合 测 试 样 本Gabor 变换系数向量集合 计算系数向量集 合 的 距 离 , 输出结果 模板匹配和特征子脸 人脸先验结构和灰度分布信息 人脸弹性图 3实验表明通过上述五条规则的限制， 总可以找到一对满足条件的连通区， 而这对连通区恰好 就是由两个眼睛所形成的区域。在该算法检测得到的区域 L、R 区域的二值图像 B 和二值化 的边缘图像 E 中，利用虹膜区域的谷特征和眼睛区域的高频特性，分别形成两个眼睛的区 域点集描述为： = 邻域的为8)y(x, 0),(| ),(),(),(jijiEyxByxRng (1) 从而得到两个眼睛区域的粗略点集， 分别计算这两个点集的重心， 以该重心为中心得到一些 候选的瞳孔点，对每一个候选点 P，在边缘图像上计算下述支持函数： =AyxyxpENS),(),(1(2) 其中：E 为边缘图像，A 为由半径范围21RrR所决定的圆环区域，1R、2R是根据人瞳孔大小取的一个经验值，N 为其中的点个数。分别取两个候选点集中具有最大支持函数的 点作为粗定位阶段的虹膜中心点： )arg(pRngpLeftIrisSMaxPleft= (3) )arg(pRngpRightIrisSMaxPRight= (4) 3.2 平面旋转矫正平面旋转矫正 对于人脸图像可能存在的图像平面内的旋转， 可以通过定位出的两个虹膜中心点的位置 用仿射变换进行矫正。 这里对面部图像的旋转以人脸的中心为原点， 而不是图像的中心为原 点， 这样可以保证当人脸落在图像的边缘部分时不致因为旋转而使人脸部分丢失。 人脸的中 心是利用两个虹膜中心点和人脸结构的统计知识估计得到的。 3.3 定位其它特征点定位其它特征点 尽管不同人的人脸结构形状不同， 但是可以合理地假设这种构形满足正态分布， 这些知 识可以为特征定位提供有利的支持，因此，本文采用手工测量的方法，对人脸器官的位置关 系进行了统计。由此看见，不同人的面部构形具有较大的相似性，可以用来指导面部特征区 域的粗略定位。 与双目距之 比 眼睛宽 眼到鼻 尖 眼到 唇上眼到下巴 尖 鼻度 嘴宽嘴高 眼到 眉心 均值 0.42 0.51 0.88 1.59 0.57 0.700.27 0.35 方差 0.03 0.05 0.04 0.09 0.05 0.060.02 0.05 表 1 面部特征结构关系统计 对整个矫正后的图像做积分变换，可以发现人脸特征点处有一定的灰度分布特点， 利用这4些特点和估计出的特征点位置， 我们可以找出人脸的特征点。 3.3.1 嘴部的检测嘴部的检测 观察表明：首先根据得到的统计参数，估计出嘴部区域在垂直方向的大致范围，然后在 此范围内取窗口区域进行水平方向的积分投影。一个典型的过程如图 2、3 所示。实验表明： 除非有很大的噪声或者有浓厚的胡须， 在其他情况下都可以得到一条类似的曲线。 对该曲线 进行高斯平滑，计算曲线的极小点，具有最小值的极小点可以作为中唇点定位结果。高斯平 滑通过卷积实现： )2/(exp()(:)()()(*)()(22sxxgjigifigifihj=其中(8) 曲线极小点则通过计算平滑后曲线的一阶和二阶差分得到： )(2)1()1()(2/)1()1()(ihihihihihihih+= +=(9) 得到极小点集合为： 0)(&0) 1() 1(|= =+=ihihihiS (10) 从而可以得到中唇点： ),(minargSiifm i= (11) 位置坐标灰度均值图 2 图 3 图 2-3 嘴部积分投影及定位结果 2 积分区域及结果 3 积分投影曲线 其它特征点可以通过类似的方法得到67。 本文一共选取了 26 个特征点。其中眼睛处共 10 个点，每个眼睛 5 个点，分别为瞳孔及 上下左右眼角；眉心处 1 个点；瞳孔垂直往上和眉毛交点处左右各 1 个点；鼻子处 3 个点， 分别为鼻尖和两个鼻孔；嘴巴处 5 个点，分别为嘴唇中心和嘴唇上下左右端 4 个点；脸颊处 5 个点， 分别为下巴、 嘴唇水平位置与脸颊左右处的交点、 眼睛水平位置与脸颊左右的交点。 在这些特征点处人脸图像的变化比较大，基本代表了人脸图像的变化。 这些点主要分步在人脸内部，而且人脸的上半部的上半部比下半部居多， 因为根据统 计和实验结果， 在识别过程中内部的特征点比外部的特征点更重要， 上半部的点比下半部的 点更重要2。 5图 (4) (5)面部器官粗略定位结果 4 特征点调整特征点调整 由以上步骤得到的特征点只是粗略的位置， 不能满足识别的需要。 为了得到特征点的精 确位置，需要对其进行调整，我们使用了一种称为人脸弹性图的数据结构来对其进行调整。 4.1 Gabor 变换原理变换原理 1964 年， Gabor 提出了可以到达时频测不准关系下界的 Gabor 函数， 它实际上是高斯函 数在频域中的平移。Gabor 函数是唯一能够到达测不准关系下界的函数，它能够很好的同时 在时域和频域中兼顾对信号分析的分辨率要求8。 Gabor 函数这一特性是它在信号处理中得 到广泛的应用。 二维 Gabor 函数较好地描述了哺乳动物初级视觉系统中一对简单视觉神经远的感受特性。Daugman 在 80 年代最早将其用于计算机视觉领域9。 二维 Gabor 函数形式如下： ( ) =2expexp2exp2222 2 xkixkkxjj jjrrr(12) 为了平滑地在频域中采样，我们取 5 个频率,对应 v=0,1,2,3,4； 8 个相位，对应 u=0,7 ( )()uvuvjxjyk kk kjk cos sin=r22 2+=vvk8uu= 对一个灰度分布为 xL的图，在给定一点),(yxx = ，Gabor 函数的变换为 ( )( ) ()2xdxxxLxJjjrrrrr=(13) 通过对不同方向和不同频率的 Gabor 分解变换， 对于图像上的每一个点可以得到一组系数向量，包含 40 个变换系数（5 个频率， 8 个相位） ，它可以写成()401exp=jiaJjjj，我们引入两种相似度，对于系数向量JJ和,如果不考虑其相位差别，则其相似度公式为6() =jjjjj jjaaaaa JJS 2 2, (14) aS的特点是其变换是平滑的，即相邻两个点的值的变化不会很大。 另外一种是考虑相位差别的， () =jjjjjjjjjjaakdaaJJS 2 2cos,rr, (15) 其中dr 是系数向量JJ和之间的空间距离（即对应