章毓晋 清华大学电子工程系 100084 北京图象工程第2页第8讲第8章 图象恢复 8.1 退化及噪声 8.2 退化模型和对角化 8.3 关于恢复的讨论8.4 无约束恢复8.5 有约束恢复8.6 交互式恢复章毓晋 (TH-EE-IE)第3页第8讲图象恢复也称图象复原，图象处理中的一大类技术 图象恢复vs.图象增强：相同之处：改进输入图象的视觉质量 不同之处：图象增强借助人的视觉系统特性，以取 得较好的视觉结果（不考虑退化原因） 图象恢复根据相应的退化模型和知识重 建或恢复原始的图象（考虑退化原因） 第8章 图象恢复 章毓晋 (TH-EE-IE)第4页第8讲图象恢复方法分类技术：无约束和有约束 策略：自动和交互处理所在域：频域和空域 从广义的角度上来看：几何失真（退化 ）校正（恢复 ） 投影（退化 ）重建（恢复 ） 第8章 图象恢复 章毓晋 (TH-EE-IE)第5页第8讲8.1 退化及噪声 8.1.1图象退化示例8.1.2噪声及来源8.1.3噪声概率密度函数 章毓晋 (TH-EE-IE)第6页第8讲8.1.1 图象退化示例图象退化图象退化指由场景得到的图象没能完全地反映场景的真实内容，产生了失真等问题w 透镜象差/色差w 聚焦不准（失焦，限制了图象锐度） w 模糊（限制频谱宽度）w 噪声（是一个统计过程）w 抖动（机械、电子）章毓晋 (TH-EE-IE)第7页第8讲8.1.2 噪声及来源噪声w 最常见的退化因素之一w 烦人的东西w 图象中不希望有的部分w 图象中不需要的部分 对信号来说，噪声是一种外部干扰。但噪声 本身也是一种信号（携带了噪声源的信息）章毓晋 (TH-EE-IE)第8页第8讲8.1.2 噪声及来源噪声研究w 人们常只关心噪声的强度 w 信噪比（signal-to-noise ratio，SNR）w 能量比（电压平方比） w 合成图象时章毓晋 (TH-EE-IE)第9页第8讲8.1.2 噪声及来源常见噪声w 热噪声：白噪声（频率覆盖整个频谱）高斯噪声（幅度符合高斯分布） w 闪烁噪声：具有反比于频率（1/f）的频谱粉色噪声（在对数频率间隔内有 相同的能量）w 发射噪声：高斯分布（电子运动的随机性） 章毓晋 (TH-EE-IE)第10页第8讲8.1.3 噪声概率密度函数1、高斯噪声噪声灰度随机变量用概率密度来刻画章毓晋 (TH-EE-IE)第11页第8讲8.1.3 噪声概率密度函数2、均匀噪声章毓晋 (TH-EE-IE)第12页第8讲8.1.3 噪声概率密度函数3、脉冲噪声w 噪声脉冲可以是正的或负的w 一般假设a和b都是“饱和”值w 双极性脉冲噪声也称椒盐噪声 章毓晋 (TH-EE-IE)第13页第8讲8.2 退化模型和对角化 8.2.1退化模型8.2.2退化模型的计算8.2.3轮换矩阵对角化章毓晋 (TH-EE-IE)第14页第8讲8.2.1 退化模型退化模型H：退化过程n(x, y)：加性噪声（统计特性已知）恢复图象：在给定g (x, y)和代表退化的H的基础上 得到对f (x, y)的某个近似 章毓晋 (TH-EE-IE)第15页第8讲8.2.1 退化模型退化H的性质(1) 线性： (2) 相加性（k1 = k2 = 1 ）： (3) 一致性（f2(x, y) = 0 ）： (4) 位置（空间）不变性： 章毓晋 (TH-EE-IE)第16页第8讲8.2.2 退化模型的计算w 1-D退化过程卷积 f (x)和h(x)：采样 2个数组 A和B为避免卷积周期重叠： M A + B 1 章毓晋 (TH-EE-IE)第17页第8讲用矩阵形式表示根据周期性 he(x) = he(x+M) 8.2.2 退化模型的计算轮换矩阵章毓晋 (TH-EE-IE)第18页第8讲w推广到2-D扩展不考虑噪声8.2.2 退化模型的计算章毓晋 (TH-EE-IE)第19页第8讲块轮换矩阵（每块都轮换标注）轮换矩阵8.2.2 退化模型的计算章毓晋 (TH-EE-IE)第20页第8讲8.2.3 轮换矩阵对角化对角化H来简化运算（M = N = 512，H尺寸为262 144 262 144 ）1、轮换矩阵的对角化考虑M M的轮换矩阵本征矢量本征值章毓晋 (TH-EE-IE)第21页第8讲8.2.3 轮换矩阵对角化1、轮换矩阵的对角化H的M个本征矢量组成1个M M的矩阵W： 各w的正交性保证了W的逆矩阵存在W1的存在保证了W的列（即H的本征矢量） 是线性独立的D是1个对角矩阵，D(k, k) = (k) 章毓晋 (TH-EE-IE)第22页第8讲8.2.3 轮换矩阵对角化2、块轮换矩阵的对角化定义尺寸为MN MN的矩阵W，每个元素为： WN为1个N N的矩阵，其每个元素为： 类似于对轮换矩阵的讨论： 章毓晋 (TH-EE-IE)第23页第8讲3、退化模型对角化的效果（1-D无噪声） + 8.2.3 轮换矩阵对角化本征值章毓晋 (TH-EE-IE)第24页第8讲3、退化模型对角化的效果（2-D有噪声） + F(u, v)N(u, v)H(u, v)对角元素8.2.3 轮换矩阵对角化章毓晋 (TH-EE-IE)第25页第8讲8.3 关于恢复的讨论 8.3.1有误差时的恢复8.3.2加性噪声信号8.3.3实恢复函数的确定8.3.4无约束和有约束恢复 章毓晋 (TH-EE-IE)第26页第8讲先卷积后加噪声设计恢复滤波器h(x)，最优地从测量中估计f (x)， fest (x)：最优的恢复滤波器应能最小化8.3.1 有误差时的恢复章毓晋 (TH-EE-IE)第27页第8讲已知g(x)，通过减法n(x) = m(x) g(x)来得到噪声g(x)：规则n(x)：随机m(x)：随机8.3.2 加性噪声信号章毓晋 (TH-EE-IE)第28页第8讲设d(x)是偶的实函数，这样设备的转移函数 D(s)是实的，最优恢复函数H(s)也是实的 NN*看作噪声功率谱，GG*看作信号功率 谱。G*N/2和 GN*/2可看作交叉（cross）功率谱，它们在零均值噪声的情况下消失8.3.3 实恢复函数的确定章毓晋 (TH-EE-IE)第29页第8讲由退化模型最小均方误差准则无约束有约束（Q为线性操作符，s = 1/l）8.3.4 无约束和有约束恢复章毓晋 (TH-EE-IE)第30页第8讲8.4 无约束恢复 8.4.1逆滤波 8.4.2消除匀速直线运动模糊 章毓晋 (TH-EE-IE)第31页第8讲8.4.1 逆滤波 设M = N 逆滤波：用H (u, v)去除G (u, v) （ 滤波函数H (u, v)与F (u, v)相乘：退化） 章毓晋 (TH-EE-IE)第32页第8讲8.4.1 逆滤波 分析/讨论wH (u, v)在UV 平面上取零或很小，N (u, v) / H (u, v)就 会使恢复结果与预期的结果有很大差距w噪声带来更严重的问题（知道H也估计不准 f ）H (u, v)常随u，v与原点距离的增加而迅速减小，而 噪声N (u, v)却一般变化缓慢。在这种情况下，恢复只能在与原点较近（接近频域中心）的范围内进行章毓晋 (TH-EE-IE)第33页第8讲8.4.1 逆滤波 记M (u, v)为恢复转移函数，并不正好是1 / H (u, v)图象退化和恢复模型除去H(u, v)为零的点减少振铃效应k和d均为小于1的常数 章毓晋 (TH-EE-IE)第34页第8讲模糊点源以获得转移函数将点源图象看做单位脉冲函数（F (x, y) = 1）的近似则有G(u, v) = H(u, v) F(u, v) H(u, v) 图象退化和恢复示例退化图 滤波器 除去零点 减少振铃8.4.1 逆滤波 章毓晋 (TH-EE-IE)第35页第8讲匀速直线运动 8.4.2 消除匀速直线运动模糊 T: 采集时间长度x方向运动分量 y方向运动分量 章毓晋 (TH-EE-IE)第36页第8讲水平方向匀速直线运动x0(t) = ct / T ，y0(t) = 0 当n为整数时，H在u = n/c处为零当 f (x, y)在区间0 x L之外为零或已知时 8.4.2 消除匀速直线运动模糊 章毓晋 (TH-EE-IE)第37页第8讲8.5 有约束恢复8.5.1维纳滤波8.5.2有约束最小平方恢复 章毓晋 (TH-EE-IE)第38页第8讲维纳（Wiener）滤波器一种最小均方误差滤波器设 Rf 是 f 的相关矩阵Rf 的第 ij 个元素是Efi fj，代表 f 的第 i 和第 j 元素的相关设 Rn是n 的相关矩阵8.5.1 维纳滤波 章毓晋 (TH-EE-IE)第39页第8讲根据两个象素间的相关只是它们相互距离而不是位 置的函数的假设，可将 Rf 和 Rn 都用块轮换矩阵表达，并 借助矩阵W来对角化：A中的元素：fe(x, y)的功率谱，记为Sf (u, v) B中的元素：ne(x, y)的功率谱，记为Sn(u, v) 对比（轮换矩阵对角化）D是1个对角矩阵，D(k, k) = (k) 8.5.1 维纳滤波 章毓晋 (TH-EE-IE)第40页第8讲滤波器推导定义代入得两边同乘以W 1 8.5.1 维纳滤波 章毓晋 (TH-EE-IE)第41页第8讲只需有关噪声均值和方差的知识就可对每个给定图 象得到最优结果（仍需确定变换矩阵Q）建立基于平滑测度的最优准则 f (x, y)在(x, y)处的二阶微分 图6.6.2 8.5.2 有约束最小平方恢复 章毓晋 (TH-EE-IE)第42页第8讲卷积模板扩展f (x, y)的尺寸是A B，取M A + 3 1和N B + 3 1最优准则 8.5.2 有约束最小平方恢复 章毓晋 (TH-EE-IE)第43页第8讲矩阵表达分块轮换矩阵子矩阵：轮换矩阵8.5.2 有约束最小平方恢复 章毓晋 (TH-EE-IE)第44页第8讲矩阵表达对角化 E是1个对角矩阵，它的元素为 wP(u, v)是pe(x, y)的2-D傅里叶变换wk / N代表不超过k/N的最大的整数wk mod N代表用N除k得到的余数 8.5.2 有约束最小平方恢复 章毓晋 (TH-EE-IE)第45页第8讲约束最优解 8.5.2 有约束最小平方恢复 章毓晋 (TH-EE-IE)第46页第8讲人机结合控制恢复过程以达到一些特殊的效果正弦干扰模式（相关噪声）只有虚分量，代表一对位于频率平面上坐标分别为(u0 / 2, v0 / 2)和( u0 / 2, v0 / 2)，强度分别为 A/2和A/2的脉冲 8.6 交互式恢复 章毓晋 (TH-EE-IE)第47页第8讲正弦干扰模式（相关噪声）退化仅由噪声造成 依靠视觉观察在频率域确定出脉冲分量的位置并在 该位置利用带阻滤波器消除 存在多个正弦分量：在频率域里对应每个亮点的位 置放1个带通滤波器H(u, v) 干扰模式的傅里叶变换（H(u, v)仅允许通过与干扰模式相关的分量 ） 8.6 交互式恢复 章毓晋 (TH-EE-IE)第48页第8讲空域相对应的结构模式从g(x, y)中减去加权的p(x, y) （其中w(x, y)称为权函数 ）点(x, y)邻域的均值和方差（最小化） 8.6 交互式恢复 章毓晋 (TH-EE-IE)第49页第8讲设w(x, y)在邻域中基本是常数能最小化 2(x, y)的w(x, y) 8.6 交互式恢复 章毓晋 (TH-EE-IE)第50页第8讲F 通信地址：北京清华大学电子工程系F 邮政编码：100084F 办公地址：清华大学东主楼，9区307室F 办公电话：(010)62781430F 传真号码：(010)62770317F 电子邮件：z