基于光电信息的计算机视觉技术,第3章7,基于光电信息的计算机视觉技术,3.1 计算机视觉的概述 3.2 光电信息处理基础 3.3 数字图像技术 3.4 数字图像处理技术 3.5 距离图像获取与处理,3.4 数字图像处理技术,3.4.3图像增强 3.4.4图像分割 3.4.5特征提取 3.4.6识别与解释,3.4.4图像分割,3.4.4.1 图像分割引言 3.4.4.2 边界分割法 3.4.4.3 边缘连接分割法 3.4.4.4 阈值分割法 3.4.4.5 面向区域的分割 3.4.4.6 数学形态学图像处理,3.4.4.1 图像分割引言,引言 图像分析系统的基本构成 图像分割的概念 图像分割的基本思路 图像分割的基本策略,知识库,图像分析系统的基本构成,图像分割的概念,把图像分解成构成它的部件和对象的过程 有选择性地定位感兴趣对象在图像中的位置和范围,图像分割的基本思路,1.从简到难，逐级分割 2.控制背景环境，降低分割难度 3.把焦点放在增强感兴趣对象，缩小不相干图像成分的干扰上,1.从简到难，逐级分割,1.从简到难，逐级分割 分割矩形区域 定位牌照 定位文字,2.控制背景环境，降低分割难度,背景环境:路面、天空,3.把焦点放在增强感兴趣对象,3.把焦点放在增强感兴趣对象，缩小不相干图像成分的干扰上 感兴趣的对象：汽车牌照 不相干图像成分：非矩形区域,图像分割的基本策略-不连续性,基于灰度值的两个基本特性： 1.不连续性区域之间 2.相似性区域内部 根据图像像素灰度值的不连续性 先找到点、线（宽度为1）、边（不定宽度） 再确定区域,图像分割的基本策略-相似性,根据图像像素灰度值的相似性 通过选择阈值，找到灰度值相似的区域 区域的外轮廓就是对象的边,图像分割引言-规类,不连续性 3.4.4.2 边界分割法 3.4.4.3 边缘连接分割法 相似性 3.4.4.4 阈值分割法 3.4.4.5 面向区域的分割 3.4.4.6 数学形态学图像处理,边界分割法 点的检测 线的检测 边的检测,3.4.4.2 边界分割法,用空域的高通滤波器来检测孤立点 例：R = (-1 * 8 * 8 + 128 * 8) / 9 = (120 * 8) / 9 = 960 / 9 = 106设 ：阈值：T = 64 R T,点的检测,点的检测算法描述,设定阈值 T，如T = 32、64、128等,并计算高通滤波值R 如果R值等于0，说明当前检测点与的灰度值与周围点的相同 当R的值足够大时，说明该点的值与周围的点非常不同，是孤立点。通过阈值T来判断|R| T 检测到一个孤立点,线的检测,通过比较典型模板的计算值，确定一个点是否在某个方向的线上,线的检测2,线的检测用4种模板分别计算R水平 = -6 + 30 = 24R45度 = -14 + 14 = 0R垂直 = -14 + 14 = 0 R135度 = -14 + 14 = 0,线的检测算法描述,线的检测算法描述 依次计算4个方向的典型检测模板，得到Ri i=1,2,3,4 如 |Ri| |Rj| 对于所有的j = i，那么这个点被称为在方向上更接近模板i 所代表的线设计任意方向的检测模板 可能大于3x3 模板系数和为0 感兴趣的方向的系数大。,边的检测边界的定义,边界的定义： 是两个具有相对不同灰度值特性的区域的边界线 适用于： 假定问题中的区域是非常类似的，两个区域之间的过渡，仅仅根据灰度的不连续性便可确定 不适用于： 当假定不成立时，阈值分割技术一般来说比边缘检测更加实用。,边的检测举例,边的检测基本思想,计算局部微分算子,边的检测基本思想一阶微分,一阶微分：用梯度算子来计算 特点：对于亮的边，边的变化起点是正的，结束是负的。对于暗边，结论相反。常数部分为零。 用途：用于检测图像中边的存在,边的检测基本思想二阶微分,二阶微分：通过拉普拉斯来计算 特点：二阶微分在亮的一边是正的，在暗的一边是负的。常数部分为零。,边的检测基本思想二阶微分2,二阶微分：通过拉普拉斯来计算 用途： 1）二次导数的符号，用于确定边上的像素是在亮的一边，还是暗的一边。 2）0跨越，确定边的准确位置,边的检测基本思想梯度算子,梯度算子 函数f(x,y)在(x,y)处的梯度为一个向量：f = f / x , f / y 计算这个向量的大小为： f = mag(f ) = (f / x)2 +(f / y)21/2 近似为: f |x| + |y|,边的检测基本思想梯度算子2,梯度的方向角为：(x,y) = tan(y / x) Sobel算子为：x = (z7 + 2z8 + z9) - (z1 + 2z2 + z3)y = (z3 + 2z6 + z9) - (z1 + 2z4 + z7) 梯度值： f |x| + |y|,边的检测 Sobel梯度算子的使用,Sobel梯度算子的使用与分析1. 直接计算y、x可以检测到边的存在， 以及从暗到亮，从亮到暗的变化2. 仅计算|x|，产生最强的响应是正交 于x轴的边； |y|则是正交于y轴的边。3. Soleb算子具有平滑效果，由于微分增强了噪音，这一点是特别引人注意的特性,边界分割法图示1,边界分割法图示2,边的检测拉普拉斯,拉普拉斯二维函数f(x,y)的拉普拉斯是一个二阶的微分定义为： 2f = 2f / x2 , 2f / y2可以用多种方式被表示为数字形式。对于一个33的区域，经验上被推荐最多的形式是： 2f = 4z5 (z2 + z4 + z6 + z8),边的检测拉普拉斯2,拉普拉斯定义数字形式的拉普拉斯的基本要求是： 1.作用于中心像素的系数是一个正数 2.而且其周围像素的系数为负数 3.系数之和必为0,边的检测拉普拉斯图示,边的检测拉普拉斯算子的分析,缺点：对噪音的敏感；会产生双边效果； 不能检测出边的方向 应用：拉普拉斯算子不直接用于边的检测，通常只起辅助的角色； 检测一个像素是在边的亮的一边还是暗的一边 利用零跨越，确定边的位置,3.4.4.3 边缘连接分割法,边缘连接法的意义 局部处理法 Hough变换,边缘连接的意义,边缘连接的意义边检测算法的后处理 由于噪音的原因，边界的特征很少能够被完整地描述，在亮度不一致的地方会中断 因此典型的边检测算法后面总要跟随着连接过程和其它边界检测过程，用来归整边像素，成为有意义的边,局部连接处理,连接处理的时机和目的 连接处理的原理 局部连接算法描述,连接处理的时机和目的,连接处理的时机和目的：时机：对做过边界检测的图像进行目的：连接间断的边,连接处理的原理,对做过边检测的图象的每个点(x,y)的特性进行分析 分析在一个小的邻域（33或55）中进行 所有相似的点被连接，形成一个享有共同特性象素的边界 用比较梯度算子的响应强度和梯度方向确定两个点是否同属一条边,连接处理的原理2,通过比较梯度，确定两个点的连接性：对于点(x,y)，判断其是否与邻域内的点 (x,y)相似，当：|f (x,y) f (x,y)| T 其中T是一个非负的阈值,连接处理的原理3,比较梯度向量的方向角对于点(x,y)，判断其是否与邻域内的点 (x,y)的方向角相似，当：| (x,y) (x,y)| A 其中A是一个角度阈值,连接处理的原理4,局部连接处理 连接处理的原理：当梯度值和方向角都是相似的，则点(x,y)，与边点界(x,y)是连接的,局部连接算法描述,1）设定A、T的阈值大小，确定邻域的大小 2）对图像上每一个像素的邻域点进行分析， 判断是否需要连接。 3）记录像素连接的情况，另开一个空间， 给不同的边以不同的标记。 4）最后，删除孤立线段，连接断开的线段。,Hough变换,Hough变换 问题的提出 Hough变换的基本思想 算法实现 Hough变换的扩展,Hough变换问题的提出,在找出边界点集之后，需要连接，形成完整的边界图形描述,Hough变换的基本思想,对于边界上的n个点的点集，找出共线的点集和直线方程。 对于任意两点的直线方程：y = ax + b，构造一个参数a，b的平面，从而有如下结论：,Hough变换的基本思想2,xy平面上的任意一条直线y = ax + b ，对应在参数ab平面上都有一个点过xy平面一个点(x,y)的所有直线，构成参数ab平面上的一条直线。,Hough变换的基本思想3,如果点(x1,y1)与点(x2,y2)共线，那么这两点在参数ab平面上的直线将有一个交点在参数ab平面上相交直线最多的点，对应的xy平面上的直线就是我们的解,Hough变换的基本思想4,Hough变换算法实现,由于垂直直线a,为无穷大，我们改用极坐标形式： xcos + ysin = 参数平面为, ，对应不是直线而是正弦曲线 使用交点累加器，或交点统计直方图，找出相交线段最多的参数空间的点 然后找出该点对应的xy平面的直线线段,Hough变换的扩展,Hough变换不只对直线，也可以用于圆：（x c1）2 + (y - c2)2 = c32 这时需要三个参数的参数空间。,3.4.4.4 阈值分割法,阈值分割法 通过交互方式得到阈值 通过直方图得到阈值 通过边界特性选择阈值 简单全局阈值分割 分割连通区域 基于多个变量的阈值,阈值分割法的基本思想,确定一个合适的阈值T（阈值选定的好坏是此方法成败的关键）。 将大于等于阈值的像素作为物体或背景，生成一个二值图像。 If f(x,y) T set 255 Else set 0 在四邻域中有背景的像素，既是边界像素。,阈值分割法的特点,适用于物体与背景有较强对比的情况，重要的是背景或物体的灰度比较单一。（可通过先求背景，然后求反得到物体） 这种方法总可以得到封闭且连通区域的边界。,通过交互方式得到阈值,基本思想： 在通过交互方式下，得到对象（或背景 ）的灰度值，比得到阈值T容易得多。 假设：对象的灰度值(也称样点值)为f(x0,y0),且： T = f(x0,y0) R 有：f(x,y) Tf(x,y) f(x0,y0) R|f(x,y) f(x0,y0)| R 其中R 是容忍度，可通过试探获得。,通过交互方式得到阈值-实施方法,（1）通过光标获得样点值f(x0,y0) （2）选取容忍度R （3）if |f(x,y)f(x0,y0)| R set 255else set 0,通过直方图得到阈值,基本思想 边界上的点的灰度值出现次数较少,通过直方图得到阈值-取值的方法,取直方图谷底(最小值)的灰度值为阈值T 缺点：会受到噪音的干扰，最小值不是预 期的阈值，而偏离期望的值； 改进：1）取两个峰值之间某个固定位置，如中间位置上。由于峰值代表的是区域内外的典型值，一般情况下，比选谷底更可靠，可排除噪音的干扰,通过直方图得到阈值-改进1,通过直方图得到阈值-改进2,2）对噪音的处理对直方图进行平滑处理，如最小二乘法，等不过点插值。,通过边界特性选择阈值-基本思想,如果直方图的各个波峰很高、很窄、对称，且被很深的波谷分开时，有利于选择阈值。 为了改善直方图的波峰形状，我们只把区域边缘的像素绘入直方图，而不考虑区域中间的像素。 用微分算子，处理图像，使图像只剩下边界中心两边的值。,通过边界特性选择阈值-基本思想2,通过边界特性选择阈值-优点,1)在前景和背景所占区域面积差别很大时，不会造一个灰度级的波峰过高，而另一个过低 2)边缘上的点在区域内还是区域外的概率是相等的，因此可以增加波峰的对称性 3)基于梯度和拉普拉斯算子选择的像素，可以增加波峰的高度,