基于LBP及统计直方图和SIFT特征改进的人脸检测1 引言1.1 研究背景局部二进制模式( LBP) 是一种理论简单、计算高效的非参数局部纹理特征描述子。由于其具有较高的特征鉴别力和较低的计算复杂度，因此近期获得了越来越多的关注，在图像分析、计算机视觉和模式识别领域得到了广泛的应用，尤其是在纹理分类和人脸识别两个经典的模式识别问题中。1.2 研究内容首先, 简要概述了LBP方法的原理, 主要分析了LBP方法中的阈值操作并介绍了统一模式和旋转不变性模式。本文提出了基于分块的完备局部二值模式的人脸识别算法。首先，将人脸图像进行分块，然后对每一分块分别利用全局阈值对中心像素灰度值进行二进制编码。与基本LBP算子相比，本文增加了对中心像素灰度值和局部差异的幅度值进行编码，提取了丰富的局部特征，完善了基本LBP算子提取的特征，尽管LBP方法在早期的应用实验中取得了不错的效果, 但是在不同领域的具体应用中, 该方法所获得的结果还不能令人满意, 所以在近些年的研究中, 许多学者都在具体应用中对LBP进行改进。1.3 应用现状在计算机视觉和数字图像处理之中, 图像特征的表示与获取是一项非常重要的基础性工作. 在常用的颜色特征、纹理特征、形状特征和空间关系特征中, 纹理特征的提取在分析自然图像的应用研究中占有非常重要的地位。因此, 如何有效获取纹理特征信息是图像特征提取问题的研究重点。2 相关技术名词简述2.1 灰度化在RGB模型中，如果R=G=B时，则彩色表示一种灰度颜色，其中R=G=B的值叫灰度值，因此，灰度图像每个像素只需一个字节存放灰度值（又称强度值、亮度值），灰度范围为0-255。一般有分量法、最大值法、平均值法、加权平均法四种方法对彩色图像进行灰度化。2.2 旋转不变性旋转不变性用到物体就是指一个物体和模板物体相同角度时可以识别出来，如果这个物体旋转一定角度后还可以识别出来，那么你所采用的这种识别算法就具有一定的旋转不变性，不同算法旋转不变性的角度可能是不同的，可以具有360度旋转不变。2.3噪声噪声通常指任意的随机干扰。热噪声又称白噪声或约翰逊噪声，是由处在一定温度下的各种物质内部微粒作无规律的随机热运动而产生的，常用统计数学的方法进行研究。热噪声普遍存在于电子元件、器件、网络和系统中，因此噪声测量主要指电子元件和器件、网络和系统的热噪声和特性的测量。2.4仿射变换仿射变换（AffineTransformation或AffineMap）是一种二维坐标到二维坐标之间的线性变换，它保持了二维图形的“平直性”（即：直线经过变换之后依然是直线）和“平行性”（即：二维图形之间的相对位置关系保持不变，平行线依然是平行线，且直线上点的位置顺序不变）。2.5 SVM分类器支持向量机（support vector machines,SVM）是一种二分类模型。它的基本模型是定义在特征空间上的间隔最大的线性分类器，间隔最大使它有别于感知机；支持向量机还包括核技巧，这使它成为实质上的非线性分类器。支持向量机的学习策略是间隔最大化，可形式化为一个求解凸二次规划的问题，也等价于正则化的合页损失函数的最小化问题。3 基于LBP及统计直方图特征提取人脸检测改进3.1 LBP简述3.1.1 LBP概念综述我们对传统意义的LBP（Local Binary Pattern，局部二值模式）有关概念及其特征原来进行综述：1） 传统LBP(Local Binary Pattern，局部二值模式）：是一种用来描述图像局部纹理特征的算子；它具有旋转不变性和灰度不变性等显著的优点。用于纹理特征提取。而且，提取的特征是图像的局部的纹理特征。原始的LBP算子定义为在3*3的窗口内，以窗口中心像素为阈值，将相邻的8个像素的灰度值与其进行比较，若周围像素值大于中心像素值，则该像素点的位置被标记为1，否则为0。这样，3*3邻域内的8个点经比较可产生8位二进制数（通常转换为十进制数即LBP码，共256种），即得到该窗口中心像素点的LBP值，并用这个值来反映该区域的纹理信息。从LBP的定义可以看出，LBP算子是灰度不变的，但却不是旋转不变的。图像的旋转就会得到不同的LBP值。 Maenpaa等人又将LBP算子进行了扩展，提出了具有旋转不变性的LBP算子，即不断旋转圆形邻域得到一系列初始定义的LBP值，取其最小值作为该邻域的LBP值。基本的LBP算子的最大缺陷在于它只覆盖了一个固定半径范围内的小区域，这显然不能满足不同尺寸和频率纹理的需要。2）圆形LBP算子:为了适应不同尺度的纹理特征，并达到灰度和旋转不变性的要求，Ojala等对LBP算子进行了改进，将33邻域扩展到任意邻域，并用圆形邻域代替了正方形邻域，改进后的LBP算子允许在半径为R的圆形邻域内有任意多个像素点。在多视角的人脸检测样本上的相同位置提取的特征实际上可能属于人脸的不同部位，为了获取与位置无关的特征，除了直接使用每个像素的LBP编码值，还计算罗出全尺度图像上所有像素的LBP编码值的统计直方图。LBP编码最大值是255，最小值是0，因而我们可以获得256维的统计直方图特征。最后将这256维的统计直方图特征直接连接到前面提取的765维特征的后面，得到了一个1021维的特征向量。随着我们对人脸检测视角分区的划分越来越精细，在人脸检测器的最后几层，前面的765维特征也具有很好的鉴别性。3.1.2 LBP特征提取步骤：1）首先将检测窗口划分为1616的小区域（cell）；2）对于每个cell中的一个像素，将相邻的8个像素的灰度值与其进行比较，若周围像素值大于中心像素值，则该像素点的位置被标记为1，否则为0。这样，3*3邻域内的8个点经比较可产生8位二进制数，即得到该窗口中心像素点的LBP值；3）然后计算每个cell的直方图，即每个数字（假定是十进制数LBP值）出现的频率；然后对该直方图进行归一化处理。4）最后将得到的每个cell的统计直方图进行连接成为一个特征向量，也就是整幅图的LBP纹理特征向量。3.1.3 LBP特征用于检测的基本原理：显而易见的是，上述提取的LBP算子在每个像素点都可以得到一个LBP“编码”，那么，对一幅图像（记录的是每个像素点的灰度值）提取其原始的LBP算子之后，得到的原始LBP特征依然是“一幅图片”（记录的是每个像素点的LBP值）。 LBP的应用中，如纹理分类、人脸分析等，一般都不将LBP图谱作为特征向量用于分类识别，而是采用LBP特征谱的统计直方图作为特征向量用于分类识别.因为，从上面的分析我们可以看出，这个“特征”跟位置信息是紧密相关的。直接对两幅图片提取这种“特征”，并进行判别分析的话，会因为“位置没有对准”而产生很大的误差。后来，研究人员发现，可以将一幅图片划分为若干的子区域，对每个子区域内的每个像素点都提取LBP特征，然后，在每个子区域内建立LBP特征的统计直方图。如此一来，每个子区域，就可以用一个统计直方图来进行描述；整个图片就由若干个统计直方图组成；例如：一幅100*100像素大小的图片，划分为10*10=100个子区域（可以通过多种方式来划分区域），每个子区域的大小为10*10像素；在每个子区域内的每个像素点，提取其LBP特征，然后，建立统计直方图；这样，这幅图片就有10*10个子区域，也就有了10*10个统计直方图，利用这10*10个统计直方图，就可以描述这幅图片了。之后，我们利用各种相似性度量函数，就可以判断两幅图像之间的相似性了。3.1.3 LBP特征等价模式：一个LBP算子可以产生不同的二进制模式，对于半径为R的圆形区域内含有P个采样点的LBP算子将会产生种模式。很显然，随着邻域集内采样点数的增加，二进制模式的种类是急剧增加的。例如：55邻域内20个采样点，有1,048,576种二进制模式。如此多的二值模式无论对于纹理的提取还是对于纹理的识别、分类及信息的存取都是不利的。同时，过多的模式种类对于纹理的表达是不利的。例如，将LBP算子用于纹理分类或人脸识别时，常采用LBP模式的统计直方图来表达图像的信息，而较多的模式种类将使得数据量过大，且直方图过于稀疏。因此，需要对原始的LBP模式进行降维，使得数据量减少的情况下能最好的代表图像的信息。为了解决二进制模式过多的问题，提高统计性，Ojala提出了采用一种“等价模式”（Uniform Pattern）来对LBP算子的模式种类进行降维。Ojala等认为，在实际图像中，绝大多数LBP模式最多只包含两次从1到0或从0到1的跳变。因此，Ojala将“等价模式”定义为：当某个LBP所对应的循环二进制数从0到1或从1到0最多有两次跳变时，该LBP所对应的二进制就称为一个等价模式类。如00000000（0次跳变），00000111（只含一次从0到1的跳变），10001111（先由1跳到0，再由0跳到1，共两次跳变）都是等价模式类。除等价模式类以外的模式都归为另一类，称为混合模式类，例如10010111（共四次跳变）. 通过这样的改进，二进制模式的种类大大减少，而不会丢失任何信息。模式数量由原来的种减少为种，其中表示邻域集内的采样点数。对于33邻域内8个采样点来说，二进制模式由原始的256种减少为58种，这使得特征向量的维数更少，并且可以减少高频噪声带来的影响。3.2 MB-LBP简述3.2.1 MB-LBP概念综述在传统的LBP特征的基础上，Liao等人提出了对传统LBP特征方法的改进。我们将待提取特征的矩形图像区域等分成若干块，然后我们用图像块的平均灰度来代替原来的像素灰度，从而将原来的针对像素灰度的编码变成了对图像块的编码。3.2.2 MB-LBP特征提取方法1）将获取的人脸图像样本归一化为2424的大小；2）然后在尺度方向上快速构造样本的多尺度图像，分别为33、66、1212和2424的大小；3）对于每一个尺度的样本图像，在当前尺度上计算每个像素的编码值，然后直接使用该编码值，构成一个765维的特征；这765维特征向量不仅包含样本的局部纹理细节信息，还包括了样本的整体结构信息。3.2.3 MB-LBP特点1）将待提取特征的矩形图像区域等分成了9大块；2）使用图像块的平均灰度替代原来的像素灰度，从而将原来的针对像素灰度的编码变成了针对图像块的编码。3.2.4 LBP特征的优势1）能够更有效地获取我们所需要的结构特点，从而得到具有比较强的鉴别能力的人脸或图像特征；2）相比较于其他特征提取算法，如Haar-Like特征，MB-LBP可以更精确地对我们所需要的图像或者人脸结构细微特征进行精准描述。相较于Haar-Like特征提取方法，MB-LBP特征提取在多角度人脸识别上具有更显著的性能；3）我们通过比较直接地在多尺度图像上提取LBP特征，从而避免了因为图像尺寸大小的差异而发生的复杂计算。4 基于SIFT特征分类器的人脸检测4.1 SIFT概念综述尺度不变特征转换(Scale-invariantfeaturetransform或SIFT)是一种电脑视觉的算法用来侦测与描述影像中的局部性特征，它在空间尺度中寻找极值点，并提取出其位置、尺度、旋转不变量，此算法由DavidLowe在1999年所发表，2004年完善总结。其应用范围包含物体辨识、机器人地图感知与导航、影像缝合、3D模型建立、手势辨识、影像追踪和动作比对。此算法有其专利，专利拥有者为英属哥伦比亚大学。局部影像特征的描述与侦测可以帮助辨识物体，SIFT特征是基于物体上的一些局部外观的兴趣点而与影像的大小和旋转无关。对于光线、噪声、些微视角改变的容忍度也相当高。基于这些特性，它们是高度显著而且相对容易撷取，在母数庞大的特征数据库中，很容易辨识物体而且鲜有误认。使用SIFT特征