6.1 6.1 图像退化图像退化6.2 6.2 常见退化函数模型及辨别方常见退化函数模型及辨别方法法 6.3 6.3 图像代数复原法图像代数复原法 6.4 6.4 图像频率域的复原法图像频率域的复原法 6.5 6.5 图像的几何校正图像的几何校正6.6 6.6 图像复原技术的实现图像复原技术的实现学习目标了解图像复原的一般过程了解图像退化的模型掌握常见的退化模型及辨别方法掌握图像复原方法掌握图像的几何校正图像复原（Image restoration）与图像增强技术一样，也是一种改善图像质量的技术，在图像的获取、传输过程中，由于成像系统，传输介质等方面的原因，不可避免地造成图像质量的下降（退化）。图像的复原就是根据事先建立起来的系统退化模型，将降质了的图像以最大的保真度恢复成真实的景象。l 所谓图像复原，是指去除或减轻在获取数字图像过程中发生的图像质量下降（退化）这些退化包括由光学系统、运动等等造成图像的模糊，以及源自电路和光度学因素的噪声。l 图像复原的目标是对退化的图像进行处理，使它趋向于复原成没有退化的理想图像。成像过程的每一个环节（透镜，感光片，数字化等等）都会引起退化。视其具体应用的不同，将损失掉的图像质量部分复原过来可以起到不同的作用。l 在进行图像复原时，还有许多其它选择。首先，问题既可以用连续数学，也可以用离散数学进行处理。其次，处理既可在空间域，也可在频域进行。6.1 图像退化 图像退化的典型表现为图像模糊、失真、有噪声等； 引起退化的原因有很多，如光学成像系统的像差、成像衍射、成像非线性、几何畸变、成像系统与被摄体的相对运动以及系统噪声等原因。6.1.1 6.1.1 图像的退化图像的退化由于退化原因各异，目前还没有统一的恢复方法。典型的图像复原方法是根据图像退化的先验知识建立一个退化模型，以此模型为基础，采用各种逆退化处理方法进行恢复，使图像的质量得到改善。图像复原实际是对原图像的估计过程，目的是在某种客观准则下，得到对原未退化模型图像的最优估计。也就是说，对于图像退化过程的先验知识掌握的精确度越高，图像复原效果越好。图像复原与图像增强的区别图像复原与图像增强的区别1. 图像复原需要利用退化过程的先验知识来建立退化模型，在退化模型的基础上采取与退化相反的过程来恢复图像；而图像增强是不需要针对于图像降质过程建立模型的。2. 图像复原是针对整幅图像的，以改善图像的整体质量；而图像增强则是针对图像的局部，以改善图像局部的特性，如图像的平滑和锐化。3. 图像复原是利用图像退化过程来恢复图像的原来面目的，其最终的结果是能够被客观的评价准则来衡量的；而图像增强主要是尝试用各种技术来改善图像的视觉效果，以适应人的需求，而不考虑处理后的图像是否与原图相符，是不需要统一的客观评价准则。 6.1.2 6.1.2 退化模型退化模型 图像复原的关键问题在于建立退化模型。 假设输入图像f(x,y)经过某个退化系统h(x,y)后产生的退化图像g(x,y) 。在退化过程中引进的随机噪声为加性噪声n(x,y) ，（若不是加性噪声，是乘性噪声，可以用对数转换方式转化为相加形式。）则图像退化过程空间域模型如图（a）所示。图像退化过程空间域模型如图图像退化过程空间域模型如图（a a）所示所示 其一般表达式为：其中，“*”表示空间卷积。这是连续形式下的表达。 或者表示成 h(x,y)是退化函数的空间描述，也称为成像系统的冲激响应或点扩展函数 , H f(x,y) 表示对输入图像f(x,y)的退化算子。 而对于频域上图像退化模型如图（b）所示，由空间域上的卷积等同于频域上的乘积，可以把退化模型式写成如下的频域表示：H(u,v)是系统的点冲激响应函数h(x,y)的傅立叶变换，称为系统在频率上的传递函数。 图像复原实际上就是：图像复原实际上就是：通过退化数学模型在空间域已知g(x,y)逆向求f(x,y)得到其估计近似值 ；在频率域已知G(u,v)求F(u,v) 得到其估计近似值 。 而进行图像复原的关键问题是寻求降质退化系统在空间域上冲激响应函数h(x,y)，或者降质系统在频率域上的传递函数H(u,v)。设法求得完全的或近似的降质系统传递函数 或者 。6.2常见退化函数模型及辨别方法 在图像恢复过程中，一般都需要用到退化函数，因此在图像恢复之前需要对退化函数进行辨识。 由于图像退化是一个物理过程，许多情况下的退化函数都是可以从物理知识和图像观测中辨识出来的。 常见的退化函数只有有限的几种，这使得辨识退化函数的问题大大简化了。 在辨识退化函数时，有以下先验知识可供利用：（1） 具有确定性且非负。（2） 具有有限支持域。 （3）退化过程并不损失图像的能量， 即 。6.2.1 6.2.1 常见的退化函数模型常见的退化函数模型1.线性运动退化函数 线性运动退化是由于目标与成像系统之间的相对匀速直线运动造成的退化。水平方向的线性运动可以用以下退化函数来表示式中，d为退化函数的长度。 对于线性移动为其他方向的情况，也可以用类似的方法进行定义。2.散焦退化函数 根据几何光学的原理，光学系统散焦造成的图像退化对应的点扩散函数应该是一个均匀分布的圆形光斑，该退化函数可表示为式中，R为散焦斑的半径。 在信噪比较高的情况下，在频域图上可以观察到圆形的轨迹。3.高斯退化函数 高斯退化函数是许多光学测量系统和成像系统最常见的退化函数。在这些系统中，由于影响系统点扩散函数的因素比较多，其综合结果往往使最终的点扩散函数趋于高斯型。该退化函数可表示为 式中，K为归一化常数， 为一个正常数，C为 的圆形支持域。 由高斯退化函数的表达式可看出，二维高斯函数能够分解成为两个一维高斯函数的乘积，这一性质在图像恢复中的很多地方得到运用。6.2.2 6.2.2 退化函数的辨识方法退化函数的辨识方法在图像复原中，有三种方法可以用来对退化函数进行辨识。这三种方法分别是图像观察法、实验估计法和数学建模法。1.图像观察法 如果我们只已知退化图像，那么辨识其退化函数的一个方法就是从收集图像自身的信息着手。例如对于一幅模糊图像，应首先提取包含简单结构的一小部分图像，为减少观察时噪声的影响，通常选取信号较强的内容区。然后根据这部分的图像中目标和背景的灰度级，构建一幅不模糊的图像，该图像与观察到的子图像应具有相同的大小和特性。 于是定义为观察到的子图像 ， 为构建的子图像，同时假设噪声可以忽略（提取的是信号较强的内容区），可得 假定系统为位移不变的，从这一函数特性我们可以推出针对整幅图像的 ，它必然是与 具有相同的形状的。 2.实验估计法 我们可以使用与获取退化图像的设备相似的设备，那么利用相同的系统设置，就可以由成像一个脉冲（小亮点）得到退化函数的冲激响应。值得注意的是，这个亮点必须尽可能的亮，以达到减少噪声干扰的目的，这样由于冲激响应的傅里叶变换是一个常量，则有式中， 为观察图像的傅里叶变换，A为常量，为冲激强度。 3.数学建模法 在图像退化的多年研究中，对一些退化环境已经建立了数学模型。这其中有利用其退化的物理环境来建立退化模型的。如基于大气湍流物理特性的退化模型式中，k为常数，与湍流性质有关。 数学建模的另一类方法就是根据退化原理进行推导，来获得退化模型。以图像与传感器之间的均匀线性运动造成的退化为例。假设图像 进行平面运动， 和 分别表示x和y方向上随时间变化的运动参数。设T为曝光时间，则模糊图像 可以表示为对应的傅里叶变换为通过改变积分顺序，上式可表示为令则 假设图像沿着x方向以 的速度做匀速直线运动， ，可得 同样在二维方向上的匀速直线运动的退化函数也可以表示出来，假设 ，则6.3 图像代数复原法 图象复原的主要目的是在假设具有退化的图像及系统和噪声的某些知识的情况下，获得为退化图像的最佳估计。其代数表达式即为 其中g、f和n都是N维列向量，H为N*N维的矩阵。 6.3.1 6.3.1 无约束复原法无约束复原法退化模型中的噪声项为 在n未知的情况下，我们需要通过一个有意义的准则函数来确定一个 ，使得 在最小二乘意义上近似于g，即是使噪声项的范数尽可能的小，即 为最小值。 将这一问题等效地看作对目标函数 求极值的问题，其中目标函数为 由极值条件可得当为一方阵时，且存在，则 上式是逆滤波复原法的表达式。对于位移不变产生的模糊，可以通过在频率域进行去卷积来说明。即 如果 有零值，则H为奇异的，无论 或者 都不存在。这就会导致恢复问题的病态性或奇异性。6.3.2 6.3.2 有约束复原法有约束复原法 为了克服无约束复原的病态性，通常在无约束复原方法的基础上附加一定的约束条件，从而在多个可能结果中选择一个最佳结果，这便是有约束的复原方法。 令Q为 的线性算子，有约束最小二乘复原就是要使 最小。这种有附加条件的极值问题可以用拉格朗日乘数法来处理。其处理方法如下：使下述准则函数为最小其中 为一常数，是拉格朗日乘数。加上约束条件后，就可以按一般求极小值的方法进行求解。 求解 ，则有 可求得其中 。 以上就是约束最小二乘方滤波复原方法的基础。 通过指定不同的Q，就可以得到不同的复原方法。 1.能量约束复原 若取线性运算 则 此式的物理意义是在约束条件下，复原图像的能量 为最小。也就是说，当用g复原f时，能量保持不变。 2.平滑约束复原 将 当作一个二维函数，要使原图像f(x,y)最为光滑就需要在各点的二阶导数最小。考虑到二阶导数存在正负，约束条件应为各点二阶导数的平方和最小。 Laplace算子为 则约束条件为 还可以用卷积形式表示为 其中 因此，复原在约束条件下使得 最小。令Q=C，最佳复原解为3.均方误差最小滤波（维纳滤波） 将f和n看作随机变量，并定义Q为使 最小。其中 和 分别为信号和噪声的协方差矩阵。可推导出最佳复原解为 当 时，则为含参维纳滤波，当 时，则为标准维纳滤波。 6.4 图像频域的复原法 6.4.1 6.4.1 逆滤波复原法逆滤波复原法 通常在无噪声的理想情况下，有 则 其中， 称为逆滤波器。 再对上式进行傅里叶逆变换即可得到 。 以上就是逆滤波复原法的基本原理。 逆滤波复原模型逆滤波复原模型 其复原过程如下： (1)对退化图像g(x,y)进行傅里叶变换，得到G(u,v); (2)计算系统点扩散函数h(x,y)的二维傅里叶变换，得到H(u,v)；注意：由于h(x,y)的尺寸小于g(x,y)的尺寸，通常采用将h(x,y)的尺寸延拓的方法来消除混叠效应引起的误差。(3)依照下式计算 ；(4)计算 的傅里叶逆变换，得到 。 若噪声为零，则采用逆滤波复原法可以得到完全相同的原图像。 但在实际中，通常都是含有噪声的，因此只能求 的估计值 ： 进行傅里叶逆变换可得 在噪声存在的情况下，若H(u,v)为0或者较小时，噪声将会被放大，甚至可能造成复原的图像面目全非。 在使用逆滤波法复原图像时，应注意以下几点：（1）在H(u,v)=0 处不做计算，即逆滤波器为（2）当H(u,v)非常小时， N(u,v) /H(u,v)对复原结果起着主导作用，而在大多数图像系统中，|H(u,v)|离开原点衰减很快，因此复原应局限于距离原点不远的有限区域内进行。即逆滤波器为 其中， H1(u,v)为理想低通滤波器，即 这种方法的缺点是会出现振铃效应。（3）为避免振铃影响，有一种改进的方法，即 式中，k和d均为小于1的常数，且d应选得较小。6.4.2 6.4.2 维纳滤波法维纳滤波法维纳滤波也就是最小二乘滤波，它是使原始图像及其恢复图像之间的均方误差最小的复原方法。它是一种有约束复原，前面介绍的逆滤波虽然比较简单，但并没有清楚地说明如何处理噪声。维纳滤波综合了退化函数和噪声统计特性两个方面进行复原处理。 维纳滤波复原的基本思路是在假设图像信号可以近似地看作平稳随机过程的前提下，取复原图像和原图像的均方差最小的原则来恢复图像的。即 其中E为数学期望算子。因此，维纳滤波器通常又称为最小均方误差滤波器。 当假设M=N，由上述条件可以推导出原始图像的傅里叶变换估计为 上式也称作约束复原方法的通用表达式。它的传递函数为 下面对上式进行分析：（1）当 时，该滤波器称为标准维纳滤波器。当可变时，则称为变参维纳滤波器。（2）在无噪声的情况下， ，则变为 此时为反向滤波器。说明反向滤波器是维纳滤波器的一种特殊情况。（3）在有噪声的情况下，相对于反向滤波器而言，维纳滤波器中由于存在 项，对噪声的放大具有自动抑制的作用，同时不会在 为0时出现被0除的情况。（4）在实际应用中， 和 通常是未知的，因此我们可以利用一个常数来表示噪声与信号的功率谱密度比，则变为 通过该式可以使退化图像在一定程度上得到恢复，但不一定是最佳复原。在实际应用中，可以通过已知的信噪比来获得。维纳滤波复原过程如下： (1)计算图像g(x,y)的二维离散傅里叶变换得到G(u,v)。 (2)计算点扩散函数h(x,y)的二维离散傅里叶变换。为了避免混叠效应引起的误差，需进行尺寸延拓。 (3)估算图像的功率谱密度Pf (u,v)和噪声的谱密度Pn(u,v) 。 (4)由下式计算图像的估计值 。 (5)计算 的傅里叶逆变换，得到复原后的图像。6.4.3 6.4.3 运动模糊图像的复原运动模糊图像的复原在获取图像的过程中，由于传感器与被摄物体之间存在相对运动，往往获取的图像会出现“运动模糊”。其中匀速运动所造成的模糊图像的复原问题具有一般性和普遍性。这是因为变速、非直线的运动在特定的条件下都可以看作是匀速、直线运动的合成结果。 假设图像f(x,y)在平面上运动，令 和 分别为x和y方向上运动的变量。t为运动时间。记录介质的总曝光量为快门从打开至关闭这段时间的积分。则模糊后的图像可表示为 其中，g(x,y)为模糊后的图像。该式为由目标物或摄像机相对运动造成图像模糊的模型。进行傅里叶变换，得到 令 则有 这是已知退化模型的傅里叶变换式。 下面以实例介绍图像模糊的模型。 例如，设原图像f(x,y)只在x方向以给定的速度做匀速直线运动，则有 和 当t=T时，图像f(x,y)在水平x方向的移动距离为a。则 若y分量也发生变化 ,则退化函数变为6.5 图像的几何校正 图像在获取或显示生成过程中，由于成像系统本身具有的几何非线性以及由于视像管摄像机及阴极射线管显示器的扫描偏转系统有一定的非线性，或者摄像时视角的不同，都会使生成的图像产生几何失真或几何畸变。 图像的几何失真实质上也是一种图像退化的过程。 解决图像的几何失真校正的办法包括如下两个步骤：（1）空间变换：对图像平面上的像素进行重新排列以恢复原空间关系。（2）灰度插值：对空间变换后的像素赋予相应的灰度值以恢复原位置的灰度值。 几何变换是图像处理中一种基本的、常用的图像预处理方法，其主要用途是： 1实现数字图像的放大、缩小及旋转； 2实现畸变（畸变原因可以多种多样，如摄影系统或镜头畸变）图像的校正； 3实现不同来源图像（如航空摄影，卫星遥感，合成孔径雷达等不同来源）的配准； 4显示和打印图像时的一种图像排版工具； 5可以使处理后的图像具有多种不同的特殊效果。6.5.1 6.5.1 几何畸变的描述几何畸变的描述图像的几何畸变是指在成像过程中所产生的图像像元的几何位置相对于参照系统(地面实际位置或地形图)发生的挤压、伸展、偏移和扭曲等变形,使图像的几何位置、尺寸、形状、方位等发生改变。图像中所产生几何畸变大致分为两大类：(1)内部畸变；(2)外部畸变。 比例尺 歪斜 中心移动扫描非线性 辐射状畸变 扭曲图像的几何畸变示例图像的几何畸变示例(a)内部畸变倾斜引起的 高度变化引起的 地形起状引起 地球曲率引起 投影畸变 比例尺误差 的畸变 的畸变(b)外部畸变图像的几何畸变实例图像的几何畸变实例 （a）扭曲 (b)扫描非线性6.5.2 6.5.2 图像空间变换图像空间变换图像空间几何坐标变换以及像素点灰度值的确定这两部分内容是几何校正的基础，几何校正需要两个独立的算法。一个算法是几何空间变换本身，用它描述每个像素如何从其初始位置移动到终止位置，即每个像素的运动。同时，还需要另一个算法用于灰度级的插值。 图像几何变换原理图图像几何变换原理图 图像坐标 地图坐标 将输入原图像f(u,v)从（u-v图像坐标系）变换为x-y坐标系上数字输出图像g(x,y)，并满足 其中，数字图像上每个像素的坐标均为整数，(u,v)坐标与(x,y)坐标之间的变换函数关系需满足 和 灰度级的插值原理图灰度级的插值原理图 (a)原图像 (b)目的图像 为了实现对图像平面上的像素进行重新排列以恢复原空间关系。可采用控制点法把失真图像与校正图像建立连接点控制。 (a)输入对象 (b)输出对象失真图像与校正图像“控制点”6.5.3 6.5.3 几何坐标变换几何坐标变换1恒等变换 其变换公式为： 即为将图像f(x,y)复制为图像g(x,y)。 恒等图像变换方程的齐次坐标矩阵表示式为 为了实现反向映射，需要使用目的图像象素坐标(x,y)计算原图像象素坐标(x,y)。对变换矩阵求逆阵后，得到逆运算的矩阵表示式为2.位移变换 在图像平移变换过程中，原像素和目标像素间存在着一对一的映射关系，这样在目的图像中就不会出现空像素，因此不需要进行插值。 图像平移变换的公式为 图像平移变换方程写成齐次坐标矩阵形式为 逆运算的矩阵表示式为 3.翻转变换 垂直翻转的变换公式为 其中，c为常数，变换将图像f(u,v)绕u0=c的垂直轴翻转，得到图像g(x,y)。 水平翻转的变换公式为 式中c为常数，变换将图像f(u,v)绕v0=c的水平轴翻转，得到图像g(x,y)。4.缩放变换 其变换公式为 其矩阵形式为 其中，c和d为常数，变换将图像f(u,v)在x轴方向上放大c倍，在y轴方向上放大d倍，得到图像g(x,y)。当系数c、d小于1时，是缩小变换。 5.旋转变换 其变换公式为 写成矩阵形式为 6.5.4 6.5.4 图像灰度插值图像灰度插值 由于点(u0,v0)不在整数坐标点上，因此需要根据相邻整数坐标点上灰度值，来插值估算出该点的灰度值f(u0,v0) 。常用的灰度插值方法有三种：（1）最近邻域法；（2）双线性插值法；（3）三次内插法。 （a）最近邻域法 （b）双线性插值法1.最近邻域法 最近邻法是将与点(u0,v0)最近的整数坐标点(u,v)的灰度值取为点(u0,v0)的灰度值。在点各相邻像素间灰度变化较小时，这种方法是一种简单快速的方法，但当点(u0,v0)相邻像素灰度差很大时，这种灰度估值方法会产生较大的误差。2.双线性插值法 双线性插值方法是对近邻法的一种改进，即用线性内插方法，根据点的四个相邻点的灰度值，插值计算出值。以图 (b)为例，具体计算得到： 3.三次内插法 该方法是利用三次多项式S(x)来逼近理论上的最佳插值函数 sinx/x: 的三次多项式 采用的三次近似多项式为 利用此多项式可准确地恢复原函数，也就可准确地得到采样点间任意点的值。 这种方法的特点是计算量大，但可以克服前面两种方法的缺点，并且精度较高。6.6 图像复原技术的实现 6.6.1 6.6.1 维纳滤波复原维纳滤波复原 用MATLAB图像处理工具箱中的deconvwnr函数可以实现维纳滤波。 该函数有三种调用格式，其中，J是复原图像，I是退化图像，它是由于与点扩散函数PSF卷积和可能的加性噪声引起的退化图像。（1 1） J Jdeconvwnrdeconvwnr（I I，PSFPSF） （2 2） J Jdeconvwnrdeconvwnr（I I，PSFPSF，NSRNSR）（3 3） J Jdeconvwnrdeconvwnr（I I，PSFPSF，NCORRNCORR，ICORRICORR） （a）原始图像 （b）运动造成的图像模糊 （c）Wiener滤波去图像模糊维纳滤波复原实例维纳滤波复原实例 I = imread(lena.jpg); figure(1),imshow(I); LEN = 21; THETA = 11; PSF = fspecial(motion, LEN, THETA); blurred = imfilter(I, PSF, conv, circular); figure(2), imshow(blurred)estimated_nsr = noise_var / var(I(:); wnr= deconvwnr(blurred_noisy, PSF, estimated_nsr); figure(3), imshow(wnr) (a)原始图像 (b)运动模糊图像 (c)维纳滤波复原6.6.2 6.6.2 约束最小二乘滤波复原约束最小二乘滤波复原 用deconvreg函数实现对模糊图像的约束最小二乘复原的调用格式为： J=J=deconvreg(Ideconvreg(I，PSF)PSF) J= J=deconvreg(Ideconvreg(I，PSFPSF，NP)NP) J= J=deconvreg(Ideconvreg(I，PSPPSP，NPNP，LRANGE) LRANGE) J= J=deconvreg(Ideconvreg(I，PSFPSF，NPNP，LRANGELRANGE，REGOP)REGOP) J J，LAGRA=LAGRA=deconvreg(Ideconvreg(I，PSPPSP，) ) 使用该函数时应注意：输出图像J可能会受到算法中使用的离散傅里叶变换而出现振铃现象。 为了减少振铃现象的影响，在使用deconvregdeconvreg 函数前先使用edgetaperedgetaper 函数处理图像。 例如，I=I=edgetaper(I,PSFedgetaper(I,PSF) )。 几种复原法的比较几种复原法的比较