第八章第八章 数字图像噪声处理数字图像噪声处理图像退化与图像退化与复原复原(image degradation/ restoration )图像的退化是指图像在形成、传输和记录过程中，由于成像系统、传输介质和设备的不完善，使图像的质量变坏图像复原就是要尽可能恢复退化图像的本来面目，它是沿图像退化的逆过程进行处理2图像退化与图像退化与复原复原(image degradation/ restoration )典型的图像复原是根据图像退化的先验知识建立一个退化模型，以此模型为基础，采用各种逆退化处理方法进行恢复，得到质量改善的图像图像复原过程如下：找退化原因建立退化模型反向推演恢复图像可见，图像复原主要取决于对图像退化过程的先验知识所掌握的精确程度，体现在建立的退化模型是否合适3图像复原和图像图像复原和图像增强增强(image enhancement)的的区别：区别：图像增强不考虑图像是如何退化的，而是试图采用各种技术来增强图像的视觉效果图像复原需知道图像退化的机制和过程等先验知识，并据此找出一种相应的逆处理方法，从而得到复原的图像二者的目的都是为了改善图像的质量4图像退化图像退化/复原过程的模型复原过程的模型(image degradation/ restoration process model)退化模型：退化过程可以被模型化为一个退化函数和一个加性噪声项退化函数：即图像质量退化的原因，非常复杂，为了处理简单，一般考虑用线性系统近似噪声：同样为了简单处理，采用几类典型数学模型概括5图像退化图像退化/复原过程的模型复原过程的模型空间域退化模型（线性系统+噪声）频率域退化模型（线性系统+噪声）6噪声模型噪声模型(noise model )数字图像的噪声主要来源于图像的获取（包括数字化过程）和传输过程噪声的产生地点和强度都是不确定的，因此需要采用概率分布来描述，即我们把噪声当作随机变量来处理假设噪声独立于空间坐标，且与图像本身无关联7噪声模型噪声模型高斯噪声：也称为正态噪声，数学上非常容易处理，因此在噪声没有明显表征的情况下，常采用高斯分布近似处理噪声：均值，或期望值：是标准差：是方差8噪声模型噪声模型瑞利噪声注意：瑞利密度距原点的位移以及密度图形向右变形，使用与描述近似偏移的直方图9噪声模型噪声模型伽玛（爱尔兰）噪声10噪声模型噪声模型指数分布噪声11噪声模型噪声模型均匀分布噪声12噪声模型噪声模型脉冲噪声（椒盐噪声）设ba，则灰度值b在图像中是一个亮点，a则是一个暗点，若Pa和Pb中有一个为0，则称为单极脉冲，视觉上，双击脉冲噪声类似于餐桌上的胡椒和盐粉，因此也称为椒盐噪声，其中，亮点对应于“盐粉”，而暗点对应于“胡椒”b和a通常是饱和值，即它们是图像中可表示的最大值和最小值，因此一般为255和013噪声模型噪声模型14测试图，只有三种不同的灰度级，因此它的直方图只有三条线条噪声模型噪声模型15噪声模型噪声模型16噪声模型噪声模型17前面几种噪声模型在视觉上很难区分，但在直方图上差异非常明显椒盐噪声是上述唯一会引起视觉区分识别的噪声，其直方图也很特别噪声模型噪声模型18周期噪声：是在图像获取中从电力或者机电干扰中产生的，是一种空间依赖型的噪声，例如特定频率干扰的一张图像噪声模型噪声模型19噪声模型噪声模型噪声的估计从传感器的规格说明中获取通过傅立叶频谱检测使用一张标准图像检测成像系统的噪声参数，例如黑色背景下的一个白色方块图利用图像本身的信息？截取图像区域中较为平台的一个子区域，作为标准测试图像，检测噪声直方图形状20噪声模型噪声模型21只存在噪声的空间滤波复原只存在噪声的空间滤波复原去噪复原去噪复原当图像中唯一存在的退化是噪声时，问题就变成了去处噪声的复原问题空间域退化模型（线性系统+噪声）频率域退化模型（线性系统+噪声）22只存在噪声的空间滤波复原只存在噪声的空间滤波复原去噪复原去噪复原直接减去噪声并不现实，因为噪声是随机的，我们并不确切地知道噪声在和处，强度是多少如果是周期噪声，有可能在频率域将周期噪声和图像本身分离开，从而减去噪声的频率分量，实现图像的去噪复原23只存在噪声的空间滤波复原只存在噪声的空间滤波复原去噪复原去噪复原当仅有加性噪声时，可考虑空间滤波方法，利用图像的相似性，使用像素周边信息对降低噪声的影响，甚至去除噪声均值滤波统计排序滤波自适应局部噪声消除滤波器自适应中值滤波器24均值滤波器均值滤波器(mean filter) 算术均值滤波器算术均值滤波器（Arithmetric mean filter）令Sxy表示中心在(x,y)点，尺寸为m x n的矩形子图像窗口，设复原图像为 ，被干扰的结果图像为g如之前描述，算术均值滤波减少噪声的同时也模糊了图像本身的信息25均值滤波器均值滤波器几何均值滤波器几何均值滤波器(Geometric mean filter)表达式如下：几何均值滤波所达到的平滑度与算术均值滤波的平滑度相当，但是在滤波过程中更少丢失图像细节26均值滤波器均值滤波器谐波均值滤波器谐波均值滤波器(Harmontic mean filter)表达式如下：谐波均值滤波对于“盐”的噪声效果更好，但不适用于“胡椒”噪声，并且善于处理高斯噪声等其他噪声27均值滤波器均值滤波器逆谐波均值滤波器逆谐波均值滤波器(Contraharmontic mean filter)表达式如下：Q称为滤波器的阶数，逆谐波均值滤波器使用于椒盐噪声：当Q0，可用于消除“胡椒”噪声当Q0且A20，则转B层否则增大窗口尺寸如果窗口尺寸 0且B20，则输出zxy否则输出zmed47自适应中值滤波自适应中值滤波自适应中值滤波的关键在于：除去“椒盐”噪声，平滑其他非椒盐噪声，并减少物体边界细化或者粗化等失真A层的目的是决定zmed是否是脉冲，如果zmed不是脉冲，则转入B层，判断zxy是否是脉冲，若是，则用zmed替代，否则，就不处理，直接输出zxy如果在A层得到了一个zmed是脉冲，则扩大窗口，寻找新的中值zmed随着脉冲噪声密度的增大，需要更大的窗口来找到非脉冲值来复原图像48自适应中值滤波效果自适应中值滤波效果49频率域滤波削减周期噪声频率域滤波削减周期噪声前面讲述了周期噪声由于具有特定频率特点，因此有可能在频率域中被分离开，而这可以被用来消除这种类型的噪声带阻滤波器带通滤波器陷波滤波器最佳陷波滤波器50带阻滤带阻滤波器波器(band-reject filter)带阻滤波器消除或衰减了傅里叶变换原点处的频段理想带阻滤波器的表达式为：51带阻滤波器带阻滤波器带阻滤波器消除或衰减了傅里叶变换原点处的频段n阶巴特沃斯带阻滤波器的表达式为：高斯带阻滤波器的表达式为：52带阻滤波器带阻滤波器53带阻滤波器消除周期噪声带阻滤波器消除周期噪声54带通滤带通滤波器波器(band-pass filter)带通滤波器执行与带阻滤波器相反的操作表达式与带阻滤波器相关联：使用带通滤波器提取噪声模式55陷波滤陷波滤波器波器(trap filter)陷波滤波器阻止或者通过事先定义的中心频率邻域内的频率傅里叶变换时对称的，因此陷波滤波器是以对称形式出现的56陷波滤波器陷波滤波器57陷波滤波器陷波滤波器或其他半径为D0，中心在(u0,v0)且在(-u0,-v0)对称的理想陷波带阻滤波器的传递函数为：58陷波滤波器陷波滤波器阶数为n的巴特沃斯陷波带阻滤波器传递函数为：高斯陷波带阻滤波器传递函数为：59陷波滤波器陷波滤波器对应的带通滤波器为：60陷波滤波器陷波滤波器61最佳陷波滤最佳陷波滤波器波器(optimal trap filter)复杂干扰，周期性图像退化的例子，下图是“水手6号”拍摄的火星地形的数字图像，噪声干扰模式相当精细，从频谱观察，很难把噪声从图像中区分开62最佳陷波滤波器最佳陷波滤波器解决方案：1：创建陷波带通滤波器H(u,v)，对图像的傅立叶频谱G(u,v)进行剔除，留下认为是噪声的频谱（通常需要通过观察，交互式地创建）频率域：空间域：63最佳陷波滤波器最佳陷波滤波器解决方案：获取到噪声 后，只需从图像中减去噪声即可恢复原图像：2：由于陷波带通滤波器是由观察后交互式构建得到的，因此仅仅是一个干扰模式的近似值，需要通过算法进一步对这个模式进行调整，即：64最佳陷波滤波器最佳陷波滤波器使用权值函数对图像复原的过程进行控制，问题是如何得到调制(权值)函数一种方法就是选取调制函数，使得复原出的图像 在每一个像素的指定邻域上的方差最小65最佳陷波滤波器最佳陷波滤波器设 上某像素(x,y)大小为 的邻域，该邻域方差：平均值66最佳陷波滤波器最佳陷波滤波器简化：设 在整个邻域中保持不变，即：代入得：67最佳陷波滤波器最佳陷波滤波器要方差最小，即偏导数为0达到极值解得：由于假定在邻域中 是常数，因此可以对这个邻域中的点都使用相同的68最佳陷波滤波器最佳陷波滤波器69最佳陷波滤波器最佳陷波滤波器70分数傅里叶变换域滤波示意图71观察法估计退化函数观察法估计退化函数(degenerate function)如果只有退化后的图像，而没有原图像的相关信息，则需要估计退化函数为了简单化，首先考虑退化图像中不含噪声影响的情况图像观察估计法利用图像中可能存在的包含简单结构的子图像，使用目标和背景的样品灰度级，构建不退化的图像72观察法估计退化函数观察法估计退化函数设 是构建的不退化的子图像， 是观察到的子图像，则可以它们的傅立叶变换 估计退化函数 的傅立叶变换73试验法估计退化函数试验法估计退化函数如果可以使用与获得退化图像的设备相似的装置，理论上可以得到一个准确的退化模型利用相同的装置，拍摄一个脉冲（亮点），则得到的退化响应，一个线性移不变系统可完全由其冲击响应来描述，并且脉冲图像的傅立叶变换是常数，则退化函数的傅立叶变换为：7475分析构建退化数学模型分析构建退化数学模型前面的观察法和试验法均只能针对特定图像处理，而根据退化原因构建数学模型则有可能解决一类图像的复原问题例如Hufnagel和Stanley1964提出的退化模型是基于大气湍流模型76分析构建退化数学模型分析构建退化数学模型77由匀速直线运动引起的图像模糊由匀速直线运动引起的图像模糊在拍摄过程中，快门打开的时间决定了对胶片的曝光时间曝光时间过少，会使得图像偏暗曝光时间过多，则会使得图像过亮，而如果物体快速运动时，还会出现运动模糊78由匀速直线运动引起的图像模糊由匀速直线运动引起的图像模糊胶片上的总曝光量是在胶片上的总曝光量是在快门打开到关闭这段时快门打开到关闭这段时间的积分，因为物体与间的积分，因为物体与相机的相对运动而造成相机的相对运动而造成图像模糊图像模糊79由匀速直线运动引起的图像模糊的恢复由匀速直线运动引起的图像模糊的恢复图像f(x,y)在平面上相对运动，x0(t)，y0(t)是运动分量t是运动时间T是快门打开到关闭的时间退化图像g(x,y)是T时间内的积分：80运动退化模型运动退化模型其中其中对前面的模型进行傅立叶变换对前面的模型进行傅立叶变换81运动退化模型运动退化模型82由均匀直线运动引起图像模糊的恢复由均匀直线运动引起图像模糊的恢复水平均匀直线运动： a是总位移量，T总运动时间83由均匀直线运动引起图像模糊的恢复由均匀直线运动引起图像模糊的恢复简单均匀直线运动： a是总位移量，T总运动时间当 时,H(u,v)=0,无法采用逆滤波恢复图像84由均匀直线运动引起图像模糊的恢复由均匀直线运动引起图像模糊的恢复做变量替换： 代入得：两边取导数，有：85由均匀直线运动引起图像模糊的恢复由均匀直线运动引起图像模糊的恢复设设是是 的整数部份的整数部份令令86由均匀直线运动引起图像模糊的恢复由均匀直线运动引起图像模糊的恢复87由均匀直线运动引起图像模糊的恢复由均匀直线运动引起图像模糊的恢复设88由均匀直线运动引起图像模糊的恢复由均匀直线运动引起图像模糊的恢复89由均匀直线运动引起图像模糊的恢复由均匀直线运动引起图像模糊的恢复90由均匀直线运动引起图像模糊的恢复由均匀直线运动引起图像模糊的恢复a=1/891逆滤波恢复法逆滤波恢复法(inverse filtering restoring method )对于线性移不变系统而言对上式两边进行傅立叶变换得H(u,v)称为系统的传递函数。从频率域角度看，它使图像退化，因而反映了成像系统的性能92逆滤波恢复法逆滤波恢复法通常在无噪声的理想情况下，上式可简化为则进行反傅立叶变换可得到f(x,y)。以上就是逆滤波复原的基本原理。1/H(u,v)称为逆滤波器93逆滤波恢复法逆滤波恢复法逆滤波恢复的基本步骤：对退化图像g(x,y)作二维离散傅立叶变换，得到G(u,v)计算系统点扩散函数h(x,y)的二维傅立叶变换，得到H(u,v)逆滤波计算 F(u,v)=G(u,v)/H(u,v)计算F(u,v)的逆傅立叶变换，得f(x,y)94加性噪声逆滤波恢复法加性噪声逆滤波恢复法实际获取的影像一般有噪声，因而求出的结果一般来说只是F(u,v)的估计值再作傅立叶逆变换得95加性噪声逆滤波恢复法加性噪声逆滤波恢复法若噪声为零，则采用逆滤波恢复法能完全再现原图像若噪声存在，而且H(u,v）很小或为零时，则噪声被放大这意味着退化图像中存在的小噪声干扰在H(u,v)较小时，会对逆滤波恢复的图像产生很大的影响，有可能使恢复的图像和f(x,y)相差很大，甚至面目全非96加性噪声逆滤波恢复法加性噪声逆滤波恢复法为此改进的方法有：在H(u,v)=0及其附近，人为设置H(u,v)的值，使N(u,v)/H(u,v)不会对F(u,v)产生太大影响使1/H(u,v)具有低通滤波性质97加性噪声逆滤波恢复法加性噪声逆滤波恢复法98加性噪声逆滤波恢复法加性噪声逆滤波恢复法99Wiener滤波滤波Wiener滤波滤波功率谱特征：图像的功率谱具有低通性，噪声的功率谱为常数或变化平缓图像信号近似看作平稳随机过程图像恢复准则：f(x,y)和 的之间的均方误差e2达到最小，即101Wiener滤波滤波线性滤波：寻找点扩散函数hw(x,y)，使得102Wiener滤波滤波Andrews和Hunt推导出满足要求的转移函数其中H*(u,v)是H(u,v)的复共轭103Wiener滤波滤波抑制噪声放大,如果H(u,v)=0,则H*(u,v)=0,且分母不为0，使得滤波器的增益为0在信噪比高的频域，即Sn(u,v) Sf(u,v)在信噪比高的频域，|H(u,v)| Sn(u,v) /Sf(u,v),HW(u,v)= 0104Wiener滤波滤波(a)原图原图(b)傅立叶谱傅立叶谱(c)逆滤波逆滤波(d)Wiener滤波滤波(e)傅立叶谱傅立叶谱105Wiener滤波滤波当处理白噪声时，|N(u,v)|2是一个常数，这简化了处理过程，但未退化图像的功率谱很难估计出来，因此常使用如下近似公式：106Wiener滤波滤波107Wiener滤波滤波108代数复原方法代数复原方法离散退化离散退化模型模型(discrete degenerate model)连续情况下退化的图像为原图像与点扩散函数的卷积对f，h均匀采样，并进行周期延拓（周期大小为MN），然后对上式进行离散化，得：110离散退化模型离散退化模型x，y的取值范围是0M和0N考察x0，y0，有：（0，0）（M1，N1）.111离散退化模型离散退化模型前面的式子可以视为矩阵与矢量的乘法运算其中g，f是将图像中的每个像素，进行重排后形成的一个大型向量，维度大小为MN，h则是对应系数行组成的矩阵，大小是MNMNgfhn112离散退化模型离散退化模型h的矩阵表示：113代数复原代数复原方法方法(algebraic restoring method)对 进行变形，得到：为使得在最小二乘意义下，找一个f，使得Hf与g足够接近要求 足够小114代数复原方法代数复原方法如果H是方阵且可逆115116几何几何校正校正(geometry correction)几何校正几何校正图像在生成过程中，由于系统本身具有非线性或者拍摄角度不同，较容易产生几何失真现象发生几何失真的原因是像素的位置、坐标发生了改变，有的地方扭曲，变得密集，有的地方宽松，变得方便118几何校正几何校正119几何校正几何校正当对图像做定量分析时，就要对失真图像进行精确的几何校正，即将存在几何失真的图像校正为五几何失真的图像步骤为：1）完成图像空间坐标的变换2）确定校正空间各像素的灰度值120空间坐标空间坐标变换变换(space coordinate conversion)有两幅图像，一幅为没有畸变的基准图像（由没有畸变或畸变小的摄像系统获得），另一幅为发生畸变的图像，是被校正图像设两幅图像坐标系统之间几何畸变关系能够用解析式来描述：121空间坐标变换空间坐标变换(x,y)(x,y)若h1和h2均已知，则可以从一个坐标系统的像素坐标计算出另一个坐标系统的对应像素的坐标122空间坐标变换空间坐标变换若h1和h2未知，则首先需要使用某种类型的函数来估算一般采用二元（x和y的）函数来近似时时时时123空间坐标变换空间坐标变换已知h1和h2情况（直接法）解求未知参数；然后从畸变图像出发，根据上述关系依次计算每个像素的校正坐标，同时把像素灰度值赋予对应像素，这样生成一幅校正图像124空间坐标变换空间坐标变换已知h1和h2情况（直接法）但该图像像素分布是不规则的，会出现像素挤压、疏密不均等现象，不能满足要求。因此最后还需对不规则图像通过灰度内插生成规则的栅格图像125空间坐标变换空间坐标变换已知h1和h2情况（间接法）设恢复的图像像素在基准坐标系统为等距网格的交叉点，从网格交叉点的坐标（x,y）出发，若干已知点，解求未知数。根据推算出各格网点在已知畸变图像上的坐标(x,y)。126空间坐标变换空间坐标变换由于(x,y)一般不为整数，不会位于畸变图像像素中心，因而不能直接确定该点的灰度值，而只能在畸变图像上，由该像点周围的像素灰度值通过内插，求出该像素的灰度值，作为对应格网点的灰度，据此获得校正图像127空间坐标变换空间坐标变换未知h1和h2情况，需首先求解或者估算h1和h2线性畸变 需要3对对应点解出未知系数二次畸变 需要6对对应点解出未知系数时时时时128像素灰度内插像素灰度内插方法方法(pixel grey interpolation method)常用的像素灰度内插法有：最近邻元法双线性内插法三次内插法三种129最近邻元法最近邻元法在待求点的四邻像素中，将距离这点最近的相邻像素灰度赋给该待求点该方法最简单，效果尚佳，但校正后的图像有明显锯齿状，即存在灰度不连续性130双线性内双线性内插法插法(bilinear interpolation method)双线性内插法是利用待求点四个邻像素的灰度在两个方向上作线性内插该方法要比最近邻元法复杂，计算量大。该方法要比最近邻元法复杂，计算量大。但没有灰度不连续性的缺点，它具有低但没有灰度不连续性的缺点，它具有低通滤波性质，使高频分量受损，图像轮通滤波性质，使高频分量受损，图像轮廓有一定模糊廓有一定模糊131像素灰度内插法效果比较像素灰度内插法效果比较原始影像灰度表面 最近邻内插法双线性内插法 三次内插法132反过来变换，岂不更好？133