图像/视频处理技术,注：本讲内容参考了五邑大学李鹤喜数字图像技术讲义和北京大学数字媒体研究所数字媒体技术基础课件,数字媒体技术基础第三讲（8课时）,教学目标,了解数字图像/视频处理的基本概念和基本方法掌握目前最常用的数字图像/视频处理开发包-OpenCV，了解如何用OpenCV开发基本的数字图像/视频处理程序,2/155,教学内容,第一部分：基本概念和操作 图像像素间联系 图像的基本统计特性直方图 基本图像处理技术点运算、二值图像形态学操作、连通分量分析 第二部分： OpenCV OpenCV概述 基础结构与操作 基本OpenCV程序与示例,3/155,第一部分：基本概念和操作,4/155,像素的邻域,（1）p的4邻域 坐标为(x,y)的像素p有4个水平和垂直的相邻像素，坐标分别为: (x+1, y), (x-1, y), (x, y+1), (x, y-1)，这个像素集称为p的4邻域，用N4(p)表示。,5/155,像素的邻域,（2）p的4个对角邻像素 坐标分别为: (x+1, y+1), (x-1, y-1), (x-1, y+1), (x-1, y-1)，用N D(p)表示。 （3）p的8邻域N4(p)+ N D(p) 。,6/155,1、像素的邻接 如果接触则邻接。邻接仅考虑了像素间的空间关系。 如一个像素和在它邻域中的像素是接触的，所以是邻接的,2、像素的连接,两个像素的连接，则需满足： 它们在空间上是接触的（即它们是邻接的） 它们的灰度值（或者其他属性值）满足某个特定的相似准则（如它们的灰度值相等）,像素间的邻接、连接和连通,7/155,设V表示定义连接的灰度值的集合,4连接：2个像素p和r在V中取值，且r在N4（p）中,8连接：2个像素p和r在V中取值，且r在N8（p）中,m连接(混合连接)： 2个像素p和r在V中取值，且满足下列条件之一： r在N4（p）中 r在ND（p）中 且 N4（p） N4（r）不包含V中取值的像素,8/155,r不在N4(p)中，r在ND(p)中，N4(p)中包括标有 a，b，c，d四个像素，N4(r)中包括标有 c，d，e，f 四个像素， 且 N4（p） N4（r）包括标有c，d的两个像素,设V 1 ,满足条件二,不满足条件二,9,混合连接的实质： 在像素之间同时存在4连接和8连接时，优先采用4连接，并屏蔽两个和同一像素间存在4连接的像素之间的8连接。,混合连接是8连接的变型，引进它是为了消除使用8连接时出现的多路问题。,设V，中心像素与8邻域像素连接关系如图b所示，由于8连接产生歧义性（中心与右上角像素有两条通路），用m连接消除，中心像素与右上角像素之间直接的m-连接不能成立，所以线路如图c所示。,10,两像素间的通路：,如果这条通路上的所有像素的灰度值均满足某个特定的相似准则，则说明两个像素p和q是连通的。根据所采用的邻接定义的不同得到不同的连通。如4连通，8连通,像素的连接是像素连通的一种特例。n=1时，两个连通的像素也是连接的。,像素的连通,11,随堂练习：以下p-q通路各是什么通路？,12,图像的子集合：图像中的一部分，根据像素间的联系，可将图像中某些像素结合组成图像的子集合。,图像子集的连接：如果S中的一个或一些像素与T中的一个或一些像素连接，则两个图像子集S和T是连接的 要考虑：是否是邻接子集，它们中邻接像素的灰度值是否满足某个特定的相似准则,图像子集的邻接： 如果图像子集S中的一个或一些像素与图像子集T中的一个或一些像素邻接，则两个图像子集S和T是邻接的。根据所采用的像素邻接定义，可得到图像子集4邻接或8邻接,像素集合的邻接和连通,13/155,设p和q是一个图像子集S中的两个像素，如果存在一条完全由在S中的像素组成的从p到q的通路，那么就称p在S中与q相连通对S中任一像素p，所有与p相连通且又在S 中的像素的集合（包括p）合起来称为S中的一个连通分量。如果S中只有一个连通组元，即S中所有像素都互相连通，则称S是一个连通集。两个互不邻接但与同一图像子集都邻接（在同一个V下）的图像子集是互相连通的。图像中同一个连通集中的任两个像素互相连通，而不同连通集中的像素互不连通。,14/155,连通区域分析（Connected Component Analysis),CVPR和图像分析处理的众多应用领域中较为常用和基本的方法。 例如：OCR识别中字符分割提取（车牌识别、文本识别、字幕识别等）、 视觉跟踪中的运动前景目标分割与提取（行人入侵检测、遗留物体检测、基于视觉的车辆检测与跟踪等）、 医学图像处理（感兴趣目标区域提取）、等等。 也就是说，在需要将前景目标提取出来以便后续进行处理的应用场景中都能够用到连通区域分析方法，通常连通区域分析处理的对象是一张二值化后的图像。,15/155,像素之间的联系与像素在空间的接近程度有关。像素在空间的接近程度可用像素之间的距离来测量。 距离量度函数：用来测量距离,三个条件，（1）表明两像素之间的距离总是正的（两像素空间位置相同时，其间的距离为0）（2）表明两像素之间的距离与起终点的选择无关。或者说距离是相对的。（3）表明两像素之间的最短距离是沿直线的。,图像间的距离,16,在数字图像中的距离量度函数：两个像素p和q，坐标(x , y), (s , t ),欧氏距离（范数/模为2的距离）： 与坐标为(x , y)的像素的欧氏距离小于或等于某个值d的像素都包括在以(x ,y )为中心以d为半径的圆中。在数字图像中圆只能近似表示。,城区距离（范数/模为1的距离）：D4距离 与坐标为(x , y)的像素的城区距离小于或等于某个值d的像素组成以(x ,y )为中心的菱形。,17,D8=1的像素就是(x , y )的8近邻像素，所以像素p的8邻域可定义为：,棋盘距离（范数为的距离）： 与坐标为(x , y)的像素的棋盘距离小于或等于某个值d的像素组成以(x ,y )为中心的正方形。,D4=1的像素就是(x , y )的4近邻像素，所以像素p的4邻域可定义为：,18,图像的基本统计特性直方图,直方图(Histogram)：表达一幅图像的灰度级(或颜色)分布情况的统计表 横坐标：灰度（或颜色量化值） 纵坐标：某一灰度值（或颜色量化值）的像素个数 直方图的性质 丢失空间信息 一个图像有唯一的直方图，但一个直 方图可能对应多幅图像 一幅图像各区域的直方图之和等于全 图的直方图 直方图的用途 数字化参数：用于判断一幅图像是否 合理利用了所有可选的灰度级范围 边界阈值选取：若灰度直方图具有较 好的二峰性，则可以方便进行二值化,19/155,图像的基本统计特性直方图,直方图的计算：对(M,N)大小的图像，设灰度（颜色）级为L: 初始化：histk=0, k=0,L-1 统计：histf(x,y)+; x,y=0,M-1,0, N-1 归一化：histf(x,y) /=M*N,20/155,基本图像处理技术图像的点运算,代数运算 图像的代数运算是指对两幅图像进行点对点的四则运算而得到一幅新的输出图像。图像的代数运算在图像处理中有着广泛的应用，它除了可以实现自身所需要的算术操作，还能为许多复杂的图像处理提供准备 1. 加法运算 2. 减法运算（差分）,21/155,图像的点运算,+,=,22/155,图像的点运算,=,图像求差可以消除背景,23/155,图像的点运算,（a）原图,（b）梯度运算（相邻2个像素 间做差）,24/155,基本图像处理技术-形态学操作,集合论基础知识 膨胀和腐蚀(Dilation & Erosion)：产生滤波器作用 开操作和闭操作(Opening & Closing)：产生滤波器作用 形态学操作在图像处理中的应用 边界提取 区域填充 连通分量的提取 凸壳，细化，粗化,25/155,图像形态学,形态学:一般指生物学中研究动物和植物结构的一个分支,研究生物的成年个体的外形和器官构造（解剖学、组织学和器官学）数学形态学（也称图像代数）表示以形态为基础对图像进行分析的数学工具（1960s） 形态学图像处理的应用可以简化图像数据，保持它们基本的形状特性，并除去不相干的结构 研究数字图像中物体目标的结构及拓扑关系 数学形态学应用在图像增强、分割、恢复、边缘检测、纹理分析等领域 作为预处理步骤：去除噪声（滤波器）目标提取,26/155,图像形态学,基本思想： 表现为一种邻域运算形式； 一种特殊定义的邻域称之为“结构单元”（Structure Element），在每个像素位置上它与二值图像对应的区域进行特定的逻辑运算，逻辑运算的结果为输出图像的相应像素。 形态学运算的效果取决于结构单元的大小、内容以及逻辑运算的性质。 形态学图像处理的数学基础和所用语言是集合论 形态学图像处理的基本运算有4个：膨胀、腐蚀、开操作和闭操作,27/155,集合论基础知识,集合的并、交、补、差,28/155,集合论基础知识,集合B的反射 ，定义为 =w|w= b,bB即关于原集合原点对称 集合A平移到点z=(z1,z2),表示为(A)z，定义为 (A)z =c| c = a+ z, aA,29/155,二值形态学,二值形态学中的运算对象是集合。设A为图像集合，S为结构元为结构元素，数学形态学运算是用S对A进行操作。 需要指出，实际上结构元素本身也是一个图像集合。对每个结构元素可以指定一个原点，它是结构元素参与形态学运算的参考点。 应注意，原点可以包含在结构元素中，也可以不包含在结构元素中，但运算的结果常不相同。 二值形态学中两个最基本的运算是腐蚀与膨胀,30/155,膨胀和腐蚀,膨胀：使图像扩大A和B是两个集合，A被B膨胀定义为：上式表示：B的反射进行平移与A的交集不为空B的反射：相对于自身原点的映象B的平移：对B的反射进行位移膨胀的另一个定义上式表示：B的反射进行平移与A的交集是A的子集,31/155,32/155,33/155,膨胀与腐蚀,膨胀-算法实现过程如下: 将结构元素B的原点移至集合A的某一点, 将结构元素中点的坐标与集合A中该点坐标相加,得到对集合中一点的膨胀运算结果. 对集合A中所有元素重复该过程,34/155,=,35/155,膨胀应用举例,桥接文字裂缝 优点：在一幅二值图像中直接得到结果，对比低通滤波方法,36/155,膨胀和腐蚀,腐蚀：使图像缩小 A和B是两个集合，A被B腐蚀定义为： 集合B称为结构元素 A B由将B平移z但仍包含在A内的所有点z组成。 如果B看作为模板，则A B由在平移模板的过程中，所经可以填入A内部的模板的原点组成。,37/155,腐蚀 对一个给定的目标图像X和一个结构元素 S，将S在图像上移动。在每一个当前位置x，S+x只有三种可能的状态 第一种情形说明S+x与X相关最大， 第二种情形说明S+x与X不相关， 第三种情形说明S+x与X只是部分相关 X用S腐蚀的结果是所有使S平移x后仍在X中的x的集合。换句话说，用S来腐蚀X得到的集合是S完全包括在X中时S的原点位置的集合。,膨胀和腐蚀,38/155,39/155,40/155,膨胀和腐蚀,腐蚀的作用 腐蚀在数学形态学运算中的作用是消除物体边界点 如果结构元素取33的像素块，腐蚀将使物体的边界沿周边减少一个像素 腐蚀可以把小于结构元素的物体（毛刺、小凸起）去除，这样选取不同大小的结构元素，就可以在原图像中去掉不同大小的物体 如果两个物体之间有细小的连通，那么当结构元素足够大时，通过腐蚀运算可以将两个物体分开,41/155,膨胀和腐蚀,腐蚀运算的示例 图(a)中的阴影部分为集合X，图(b)中的中的阴影部分为结构元素S，而图(c)中黑色部分给出了结果。 由图可见，腐蚀将图像（区域）收缩小了。,