模式识别应用模式识别应用 车牌识别车牌识别模式识别系统的组成：模式识别系统的组成：v信息获取信息获取 v预处理预处理v特征提取和选择特征提取和选择 v分类器设计和分类决策分类器设计和分类决策信息获取信息获取机机器器识识别别：计计算算机机获获取取模模式式信信息息即即实实现现观观察察对对象象的的数字化表达。数字化表达。v待待识识别别的的样样本本大大都都是是非非电电信信息息，例例如如语语音音信信号号、待待识识别别文文本本、图图像像等等，这这就就需需要要将将这这些些以以各各种种不不同形式表现的信息通过传感器转换成电信号同形式表现的信息通过传感器转换成电信号。v如用话筒将声音信号转换成电信号。如用话筒将声音信号转换成电信号。v景景物物信信息息在在摄摄像像机机靶靶面面成成像像并并转转换换成成二二维维的的像像素素矩矩阵阵，每每个个像像素素（矩矩阵阵元元素素）的的电电信信号号与与物物体体表表面反射的光强或颜色信息呈现函数关系。面反射的光强或颜色信息呈现函数关系。预处理预处理v预预处处理理主主要要是是指指去去除除所所获获取取信信息息中中的的噪噪声声，增增强强有有用用的的信信息息，及及一一切切必必要要的的使使信信息息纯纯化化的的处处理理过过程。程。v图图像像信信息息的的预预处处理理：几几何何校校正正、图图像像增增强强、图图像像还原等。还原等。v例例如如，从从图图像像中中将将汽汽车车车车牌牌的的号号码码识识别别出出来来，就就需需要要先先将将车车牌牌从从图图像像中中找找出出来来，再再对对车车牌牌进进行行划划分分，将将每每个个数数字字分分别别划划分分开开。做做到到这这一一步步以以后后，才才能能对对每每个个数数字字进进行行识识别别。以以上上工工作作都都应应该该在在预预处理阶段完成。处理阶段完成。v原原始始数数据据是是由由所所使使用用的的测测量量仪仪器器或或传传感感器器获获取取的的，这这些些数数据组成的空间叫测量空间。据组成的空间叫测量空间。v样样本本是是用用特特征征进进行行描描述述的的，识识别别与与训训练练都都是是在在特特征征空空间间中中进行的。进行的。v特特征征提提取取模模块块将将原原始始测测量量数数据据转转换换成成能能反反映映事事物物本本质质、有有效效方方式式表表示示的的信信息息，从从而而使使分分类类器器能能根根据据这这些些信信息息决决定定样样本的类别。本的类别。v特特征征提提取取模模块块的的功功能能是是：对对所所获获取取的的信信息息实实现现从从测测量量空空间间到特征空间的转换。到特征空间的转换。v通通常常用用于于描描述述模模式式性性质质的的特特征征很很多多，需需要要从从一一组组特特征征中中挑挑选出一些最有效的特征以降低特征空间维数，即特征选择。选出一些最有效的特征以降低特征空间维数，即特征选择。特征提取和选择特征提取和选择分类决策分类决策模模式式识识别别系系统统工工作作有有两两个个过过程程，一一是是样样本本训训练练，二是分类决策。二是分类决策。样样本本训训练练：在在已已确确定定的的特特征征空空间间中中，对对作作为为训训练练样样本本的的数数据据进进行行特特征征提提取取与与选选择择，得得到到它它们们在在特特征征空空间间的的分分布布，依依据据这这些些分分布布决决定定分分类类器器的具体参数。的具体参数。分分类类决决策策：分分类类器器在在分分界界形形式式及及其其具具体体参参数数都都确定后，对待分类样本进行分类决策的过程。确定后，对待分类样本进行分类决策的过程。v分类决策是对事物辨识的最后一步。分类决策是对事物辨识的最后一步。v识别事物（决策）的基本方法：识别事物（决策）的基本方法：同一类事物之间属性应比较同一类事物之间属性应比较近似，而不同类事物之间的属性之间应差异较大。这种现象近似，而不同类事物之间的属性之间应差异较大。这种现象表现在特征空间的分布中往往表现出同类事物的特征向量聚表现在特征空间的分布中往往表现出同类事物的特征向量聚集在一起，聚集在一个相对集中的区域，而不同事物则分别集在一起，聚集在一个相对集中的区域，而不同事物则分别占据不同的区域。因此，占据不同的区域。因此，如果待识别的事物的特征向量出现如果待识别的事物的特征向量出现在某一类事物经常出现或可能出现的区域内，该事物就被识在某一类事物经常出现或可能出现的区域内，该事物就被识别为该类事物。别为该类事物。v决策依据：决策依据：在特征空间中哪个区域是某类事物典型所在区域在特征空间中哪个区域是某类事物典型所在区域需要用数学式子划定，这样一来，满足这种数学式子与否就需要用数学式子划定，这样一来，满足这种数学式子与否就成为分类决策的依据。如何确定这些数学式子就是分类器设成为分类决策的依据。如何确定这些数学式子就是分类器设计的任务，而一旦这种数学式子确定后，分类决策的方法也计的任务，而一旦这种数学式子确定后，分类决策的方法也就确定了。就确定了。汽车车牌识别系统汽车车牌识别系统v图像输入图像输入v车牌提取（牌照定位与分割）车牌提取（牌照定位与分割）v车牌字符识别车牌字符识别汽车车牌识别图像采集图像采集v地感线圈感应压力；地感线圈感应压力；v40ms后进入最佳识后进入最佳识别区；别区；v触发相机拍照触发相机拍照汽车车牌识别图像采集图像采集v首先，从摄像头取得彩色的包含车牌的图像。首先，从摄像头取得彩色的包含车牌的图像。在摄像机前方的检测点安装传感器，当汽车在摄像机前方的检测点安装传感器，当汽车通过检测点时，传感器向主机发出信号，系通过检测点时，传感器向主机发出信号，系统自动摄下车辆的图像，并将图像输入计算统自动摄下车辆的图像，并将图像输入计算机。机。v这是在一个收费站这是在一个收费站前拍摄的交费车辆前拍摄的交费车辆的照片，在收费站的照片，在收费站的车牌识别系统中，的车牌识别系统中，车辆是静止的，因车辆是静止的，因此不用进行针对运此不用进行针对运动模糊等的预处理。动模糊等的预处理。v车牌定位车牌定位是在包含车辆的图像中找到牌照区域的位置，并是在包含车辆的图像中找到牌照区域的位置，并把牌照区域把牌照区域分割分割出来，得到牌照图像。也可称这部分为牌出来，得到牌照图像。也可称这部分为牌照定位与分割。牌照定位决定其后的车牌字符识别，因此照定位与分割。牌照定位决定其后的车牌字符识别，因此牌照定位是识别系统的关键。牌照定位是识别系统的关键。汽车车牌识别车牌定位与分割车牌定位与分割经过大量实验数据发现，车辆牌照一般具有以下特征经过大量实验数据发现，车辆牌照一般具有以下特征:(1)目前车辆牌照的具体排列格式是由一个省份汉字目前车辆牌照的具体排列格式是由一个省份汉字(军警牌则军警牌则为其他字为其他字)后跟字母或阿拉伯数字组成的后跟字母或阿拉伯数字组成的7个字序列。除第一个字序列。除第一个汉字外，字母或数字的笔画在竖直方向都是连通的。个汉字外，字母或数字的笔画在竖直方向都是连通的。标准车牌的具体排列格式是标准车牌的具体排列格式是:X1X2X3X4X5X6X7uX1是各省、直辖市的简称或军警（多数为红色）、外交是各省、直辖市的简称或军警（多数为红色）、外交标志（例如：大使馆车辆白底黑字）标志（例如：大使馆车辆白底黑字）uX2是英文字母是英文字母uX3X4是英文字母或阿拉伯数字是英文字母或阿拉伯数字uX5X6X7是阿拉伯数字。是阿拉伯数字。v(2)车辆牌照区域牌底与牌字颜色相差较大，边缘非常丰富。车辆牌照区域牌底与牌字颜色相差较大，边缘非常丰富。v(3)车辆牌照子图像区域长高比例一定，车牌原始尺寸每个字车辆牌照子图像区域长高比例一定，车牌原始尺寸每个字宽宽45mm，字高，字高90mm，间隔符宽，间隔符宽10mm，每个单元间隔，每个单元间隔12mm。根据汽车牌照的特点，需要充分利用这些特征，并结合根据汽车牌照的特点，需要充分利用这些特征，并结合一系列图像处理，对车辆牌照进行定位与分割。一系列图像处理，对车辆牌照进行定位与分割。三个主要步骤：三个主要步骤：v特征提取：灰度化、灰度拉伸、边缘检测特征提取：灰度化、灰度拉伸、边缘检测v粗略定位粗略定位v精细定位精细定位车牌特征提取的第一步牌特征提取的第一步灰度化灰度化为了便于后了便于后续的快速的快速图像像处理，以及理，以及对不同不同颜色的色的车辆牌照牌照进行行统一一处理，需要把理，需要把摄像像头拍到的含拍到的含车辆的的图像像由由24位真彩色位真彩色转化成灰度化成灰度图。一般采用。一般采用现行行标准的平均准的平均值法法:其中其中:g表示灰度化后的灰度表示灰度化后的灰度值：R、G、B分分别表示原真表示原真彩色彩色图中的中的红、绿、蓝分量。分量。车牌特征提取的第二步车牌特征提取的第二步 灰度拉伸灰度拉伸对灰度化的图像进行对比度拉伸，把感兴趣的灰度范对灰度化的图像进行对比度拉伸，把感兴趣的灰度范围拉开，使得该范围内的像素亮的更亮、暗的更暗，使图像围拉开，使得该范围内的像素亮的更亮、暗的更暗，使图像的边缘更加凸显。灰度拉伸可以使牌照区域的笔画特征更明的边缘更加凸显。灰度拉伸可以使牌照区域的笔画特征更明显，有益于下一步的边缘检测。显，有益于下一步的边缘检测。假假设设原原图图像像的的灰灰度度分分布布函函数数为为f(x，y)，像像素素灰灰度度分分布布范范围围为为a,b。根根据据图图像像处处理理的的需需要要，将将其其灰灰度度范范围围变变换换到到a,b，增增强强后后图图像像的的灰灰度度分分布布函函数数为为g(x，y)，则则g(x，y)和和f(x，y)之间存在如下关系之间存在如下关系:如果如果图像的灰度范像的灰度范围超出了超出了a，b，但，但绝大多数像素大多数像素的灰度落在区的灰度落在区间a，b内，只有很少部分的像素灰度分布内，只有很少部分的像素灰度分布在小于在小于a和大于和大于b的区的区间内，此内，此时可以采用一种称作可以采用一种称作“截取式截取式线性性变换”的的变换方法，其方法，其变换式如下式如下:车牌特征提取的第三步车牌特征提取的第三步 边缘检测边缘检测边缘检测对于车牌区域的分割有重要的作用。经过边缘检边缘检测对于车牌区域的分割有重要的作用。经过边缘检测之后的图像由各个物体的轮廓线组成，由于测之后的图像由各个物体的轮廓线组成，由于车辆牌照是边缘车辆牌照是边缘丰富的子区域，车牌的笔画轮廓凸现，丰富的子区域，车牌的笔画轮廓凸现，而车体上其他部分的轮而车体上其他部分的轮廓线特征并不突出。在车牌识别系统中，可以采用如下的算子廓线特征并不突出。在车牌识别系统中，可以采用如下的算子来提取边缘来提取边缘: H1、H2分别是水平和垂直方向的算子。分别是水平和垂直方向的算子。v粗略定位粗略定位主要利用的信息是车牌部分的主要利用的信息是车牌部分的纹理分布纹理分布，主要利用，主要利用的是的是水平和竖直两个方向上的边缘水平和竖直两个方向上的边缘。在车牌部分，边缘分布。在车牌部分，边缘分布比较密集，可以利用这一点提取出候选的车牌区域，在图中比较密集，可以利用这一点提取出候选的车牌区域，在图中用方框标出。用方框标出。车牌粗略定位车牌粗略定位v之后输出的就是候之后输出的就是候选的车牌位置，这选的车牌位置，这些位置中，只有一些位置中，只有一个是真正的车牌。个是真正的车牌。而究竟哪一个是对而究竟哪一个是对的，要到字符识别的，要到字符识别阶段才能有结果。阶段才能有结果。v粗略定位的结果往粗略定位的结果往往不是很准，可以往不是很准，可以利用利用颜色的连续性颜色的连续性信息信息对定位的结果对定位的结果进行修正。进行修正。车牌精细定位车牌精细定位字符特征提取字符特征提取训练：训练：字符识别分类器字符识别分类器识别：识别：车牌的具体内容车牌的具体内容汽车车牌识别字符识别字符识别v字符分割要把车牌中的一个个字符逐一切分开，这样才能在下一步的识别字符分割要把车牌中的一个个字符逐一切分开，这样才能在下一步的识别中对每一个字符分别处理。分割的方法可以利用灰度图像往竖直方向的投中对每一个字符分别处理。分割的方法可以利用灰度图像往竖直方向的投影。在有数字或字符的部分，这个投影值应该比较大，而在字符之间的间影。在有数字或字符的部分，这个投影值应该比较大，而在字符之间的间隙处，投影的累计值就几乎为零了。利用这个特征，可以很好地将字符分隙处，投影的累计值就几乎为零了。利用这个特征，可以很好地将字符分割开来。割开来。v同时，还需要得到对这个区域是不是车牌区域作个评价，如果划分结果比同时，还需要得到对这个区域是不是车牌区域作个评价，如果划分结果比较合理，划分出的每个字符的宽度都差不多，且符合车牌特征，那么说明较合理，划分出的每个字符的宽度都差不多，且符合车牌特征，那么说明这个区域比较像车牌。如果字体太宽或者不符合车牌特征，说明是其它的这个区域比较像车牌。如果字体太宽或者不符合车牌特征，说明是其它的字符。字符。字符分割字符分割v在在牌照识别中，需要利用光学字符识别牌照识别中，需要利用光学字符识别(OCR)技术识别出技术识别出牌照图像中的印刷体汉字、英文字母和阿拉伯数字，得到牌照图像中的印刷体汉字、英文字母和阿拉伯数字，得到车牌号码。可以根据目前标准车牌中字符的具体排列顺序，车牌号码。可以根据目前标准车牌中字符的具体排列顺序，设计不同的分类器。设计不同的分类器。v印刷体汉字印刷体汉字(包括各省、直辖市的简称或军警包括各省、直辖市的简称或军警)；v英文字母英文字母(26个大写字母个大写字母)；v阿拉伯数字为阿拉伯数字为0，1，9。24字符特征提取字符特征提取25v光学字符识别先要使识别系统学习待辩识字符的特征，光学字符识别先要使识别系统学习待辩识字符的特征，然后再利用这些先验知识对输入图像进行判决，得到字然后再利用这些先验知识对输入图像进行判决，得到字符的识别结果。符的识别结果。v字符的特征：字符的特征：平面上的点阵位置特征：像素灰度特征（不好）平面上的点阵位置特征：像素灰度特征（不好）频率特征：跳变统计特征频率特征：跳变统计特征投影特征：灰度统计特征投影特征：灰度统计特征语义特征：结构特征语义特征：结构特征几种目前常采用的特征：几种目前常采用的特征：HOG、Haar、LBP字符特征提取（续）字符特征提取（续）26vLBP（LocalBinaryPattern，局部二，局部二值模式）是一种模式）是一种用来描述用来描述图像局部像局部纹理特征的算子；具有旋理特征的算子；具有旋转不不变性和性和灰度不灰度不变性等性等显著的著的优点。点。字符特征提取（续）字符特征提取（续）27vLBP特征的描述：特征的描述：v定义定义：在：在33的窗口内，以窗口中心像素的窗口内，以窗口中心像素为阈值，将相，将相邻的的8个像个像素的灰度素的灰度值与其与其进行比行比较，若周，若周围像素像素值大于中心像素大于中心像素值，则该像像素点的位置被素点的位置被标记为1，否，否则为0。这样，33邻域内的域内的8个点个点经比比较可可产生生8位二位二进制数（通常制数（通常转换为十十进制数即制数即LBP码，共，共256种），种），即得到即得到该窗口中心像素点的窗口中心像素点的LBP值，并用，并用这个个值来反映来反映该区域的区域的纹理信息。理信息。字符特征提取（续）字符特征提取（续）灰度不变性灰度不变性28v基本的基本的LBP算子有两个缺陷：算子有两个缺陷：只覆盖了一个固定半径范只覆盖了一个固定半径范围内的小区域，不能内的小区域，不能满足不同尺寸和足不同尺寸和频率率纹理的需要理的需要;不具有旋不具有旋转不不变性。性。v圆形形LBP特征：特征：将将33邻域域扩展到任意展到任意邻域域用用圆形形邻域代替了正方形域代替了正方形邻域域允允许在半径在半径为R的的圆形形邻域内有任意多个像素点。域内有任意多个像素点。字符特征提取（续）字符特征提取（续）29v改改进的的LBP特征具有特征具有灰度不灰度不变性性和和旋旋转不不变性性。字符特征提取（续）字符特征提取（续）30vLBP特征提取步特征提取步骤：将将检测窗口划分窗口划分为一定大小的小区域（一定大小的小区域（cell），例如），例如1616；对于每个于每个cell中的每个像素，中的每个像素，计算其算其LBP值；计算每个算每个cell的直方的直方图，即每个，即每个LBP值出出现的的频率；并率；并对该直方直方图进行行归一化一化处理；理；将每个将每个cell的的统计直方直方图进行行连接成接成为一个特征向量，也就是整一个特征向量，也就是整幅幅图的的LBP纹理特征向量。理特征向量。字符特征提取（续）字符特征提取（续）模板匹配模板匹配ANNSVM字符识别字符识别需要考虑的情况需要考虑的情况v车牌区域上下两行字符：车牌区域上下两行字符： 先横向投影再纵向投影；先横向投影再纵向投影；v两种车牌：蓝底白字（暗背景亮目标）两种车牌：蓝底白字（暗背景亮目标） 黄底黑字（亮背景暗目标）黄底黑字（亮背景暗目标） 边缘投影图中，波峰波谷位置不同。边缘投影图中，波峰波谷位置不同。