基于自适应邻域的空域错误掩盖改进新算法 聂超 杜建洪 复旦大学 通信科学与工程学系 200433 摘 要: 在本文中,将无线信道传输的图像块中丢失的块分类为纹理和结构两类对于不同的丢失块进行不同的修复方法 对于结构丢失块的修复 我们采用基于自适应邻域的空域错误掩盖算法的改进方法 对于结构的区分是根据丢失块四周的情况来自动分辨得出的,这样做的好处是在不增加传输编码的复杂程度下提高了传输信道的利用率使得图像在无线信道中的传输效率更高 关键字: 图像修复纹理结构等照度线 1 引言 数字图像修复技术是指针对数字图像中遗失或者损坏的部分 利用未被损坏的图像信息 按照 一定的规则填补使得修复后的数字图像接近或者达到原始图的视觉效果数字图像修复技术可以 安全有效地数字化恢复损坏的艺术作品并可以祛除图像中的文字或者其他不期望的物体此外 数字图像修复技术还可以应用于视频点播对网络传输中丢弃或者损坏的视频信息进行修复以及改 善观看质量 Bertalmio 等人提出了一种基于高阶偏微分方程的算法1利用待修复区域的边缘信息确定扩散 信息和扩散方向从区域边界各向异性的边界向内扩散Criminisi 等人提出了一种基于纹理生成的 修复方法2,在待修复区域的边界通过块匹配的方式选择合理的纹理填充对纹理修复有较好的结 果但对结构信息的修复能力有限Masnou 等人使用等照度线(isophote)的方法34在待修复区 域边界采用动态规划确定等照度线的连接方式然后直线连接对应的等照度线并对区域内进行填 充对简单结构信息有较好的修复效果但抗噪声能力比较弱Levin 等人提出了一种基于概率的 修复方法5通过对剃度和夹角的统计得到其概率分布然后以待修复区域内总体概率最大为准则 求取最优解对物体的边角有很好的效果但这种方法在世用前去要先选择训练区域而且对训练 区域有较高的要求因此在实际应用中受到一定限制 本文在自适应邻域的空域错误掩盖算法6的基础上进行了改进,结合了Masnou等人的等照度线 填充理论与Criminisi等人的纹理修复理论图像修复结果证明修复效果要高于基于自适应邻域的空 域错误掩盖算法6 2基于自适应邻域的空域错误掩盖算法 错误掩盖是以视频信号的时空冗余信息对错误块进行重建以获得对原信号的近似, 并可划分 为时域空域和频域等掩盖方法 7 9 . 其中空域错误掩盖是利用视频信号在空间上存在的相关 性, 以帧内相邻正确的图像块来重构错误块的图像数据 Ghan2bari 和 Aign 等 10, 11 分别提出 以错误块相邻角上的 4 个像素和相邻边缘像素进行内插的错误掩盖方法,但这些算法因参考像素太 少而导致重建的错误块丢失全部或大部分的边界信息 Kwok 等 12 提出以相邻正确块内的全部 像素作为参考并根据这些像素点的边界信息选择内插方向, 再进行方向内插的错误掩盖方法和前 两种方法相比, 该方法由于内插时参考了较多的像素, 所以重建的图像质量有明显的提高, 但可能 会导致: 内插方向的误选择; 与错误块无关的像素灰度因内插而扩散到掩盖块中, 从而使重建的错误块内出现阴影和虚假条纹 Salam 等 13 以 M arkov 模型作为图像的先验模型, 并以最大 后验估计实现对错误块的掩盖, 其中后验概率又是以各方向相邻像素的相似性作为衡量标准, 而且 描述相似性的权重系数是以邻域块的边界信息作为参考, 和 Kwok 方法一样, 如参考像素选择不当, 会导致虚假纹理的出现针对这些问题本文工作围绕以下两个方面进行了重点研究(1)丢失块邻 域的分割邻域分割不是传统意义上将其分割为具有某些相似特征的若干区域, 而是仅仅分割为与 错误块相关和无关的两个区域. 分割算法的基本思想是: 对大小为 N N 的错误块, 首先以 Sobel 算子检测错误块邻域各像素的边界幅度和方向, 然后根据边界方向将其分为与错误块相关和无关 的两类边界, 最后利用无关边界信息将邻域分割为相关区域和无关区域. 因此, 分割算法包括边界估计和分类种子边界点的确定以及边界生长等过程(2)基于相关区域的空域错误掩盖该算法首 先将相关邻域内的相关边界按方向分类, 然后选择较大的几个方向分别进行单向内插, 最后将各个 方向内插得到的候选块按某种规则合成一块以作为错误块的替代块相关边界方向划分为 s22.5(s= 0, 1, , 7)共 8 类, 各类的幅值分别以 f s 表示. 对相关区域内的各像素( i, j ) , 根据r ( i, j ) 将其归入最接近的相关边界类 s (s=r ( i, j )22.5 , 为四舍五入取整) ,并将 f r ( i, j ) 叠加到相应 类的幅值 f s 中. 记 f max =m axf 0, f 1, , f 7, 若 f s 0. 7f max , 则其所对应的方向被选为空域内插方向 之一, 记该方向序号为 s. 若有几个方向被选为内插方向, 那么这些方向构成内插方向集 S , 并按被 选的几个方向进行空域内插 3 具体图像修复算法的实现 根据修复算法的几个主要步骤下面简单给出算法的描述 3.1 图像的边缘特征提取 对于输入的图像我们需要将它的边缘来突出强化我们采用的办法是采用 Sobel 算子来和需 要处理的矩阵进行二维卷积Sobel 算子分别用水平方向和垂直方向来分别计算 对于图像边缘的象素点由于边缘外没有象素点可以进行卷积计算所以在与 Sobel 算子进行 卷积运算前,我们需要将需要进行卷积的图像进行预处理,即把图像边缘向外扩充一个象素点,扩充的 象素点的取值与相对应的原图像边缘的象素值的灰度值相同.进行这样的预处理以后 图像边缘的象 素点的卷积结果则不会受到图像外的点的影响经过卷积后的图像我们再将最外缘的一周的象素 点祛除掉这样我们就得到需要处理的数字图象的边缘结果 (a) Lina 图像 (b) Airplane 图像 图 1 图像边缘特征提取的两个实例 3.2图像的边缘特征计算 对于整幅输入图像进行 Sobel 算子卷积突出了图像的边缘区域之后 我们关心的是如何处理以 及修复 8*8 的丢失块 对于 N*N 的丢失块的修复 我们取以 N*N 块为中心的 3N*3N 的窗口来进行 处理所以这时我们把 8*8 的丢失块以及它周围邻近的 8 个 8*8 的已知的象素块单独从整幅图像提 取出来然后对这个 24*24 的小块进行处理 对于修复区域的处理我们先找到与其对应的边缘强化图像然后提取出结构信息最后根据 丢失块边缘的信息的不同采取不同的填充方法 3.3 丢失块周围的结构检测 对于进行 Sobel 卷积后的 24*24 的象素块我们的目的是提取到有用的物体边缘结构信息在 基于自适应邻域的空域错误掩盖算法中对于卷积后的边缘增强图像设置一个阈值 Th若错误块邻域某点的无关边界幅度大于 Th则将这个点认为是边界点置为白色( 灰度值置为 2 5 5 ) 而错误 块邻域某点的无关边界幅度小于 Th则将这个点认为是非边界点置为黑色( 灰度值为 0 ) 经过对 边界图像的二值化后查看丢失块邻域的白色块来确定边界信息以及根据这些边界信息为基础进行 填充这种边缘检测方法的优点是直观以及算法实现的简单和运算的快捷但缺点是只能对于比 较明显的边缘才能检测出来对于很大一部分上视觉可见的结构部分但是计算结果的阈值偏小低于 给顶的 Th的结构是检测不出来的这样的直接结果就是在修复的过程中这些未被检测出的区域的 修复效果不是很好信噪比偏低 本文对于边界的阈值选取不是一个固定的值 而是基于所给的不同的修复区域的边缘象素信息 来界定不同的阈值甚至不同区域所采用的阈值都是不同的 3.4 对于结构方向角的计算 在基于自适应邻域的空域错误掩盖算法中结构部分的方向角划分为 s22. 5(s= 0, 1, , 7)共 8 类如果边界的方向角不符合这 8 个角度则按照最邻近的一个角度计算换言之对于结构的 方向角计算在基于自适应邻域的空域错误掩盖算法中只能达到一种近似方向角度不能得到一个更 为准确的值本文中对于结构方向角的计算采用了直线中的两点式的斜率计算方法具体实现方法 如下 1) 对于 8 连接的一个区域中的所有边界点象素我们都将每个边界点象素的横纵坐标 xy 分 别存放在两个 N 维矩阵的一行中 2) 每次我们提取两个 N 维矩阵中的一行即 8 连接边界点的一个区域进行计算 3) 计算出这一个边界点区域的列最小和最大的边界点的值 4) 分别将对应最小列值的行值和最大列值的行值计算出来按照最小与最大的列值分为两组 然后根据两点式的斜率计算方法分别计算两组两点形成的斜率斜率的计算公式为 minmaxminmax xxyyk=(1) 5 由于斜率的变化不是线性的于是我们要进行反正切变换将其转化为角度然后进行平均 计算角度计算公式如下 nk anii =1)arctan(2) 6 最后得到了方向角a进行正切运算便得到了结构方向角)tan(ak = 3.5 对于丢失块的修复 计算出了丢失块周围结构的方向角之后剩下的工作就是对丢失的 8*8 象素块的填充了 本文对于填充的方法分为纹理与结构两种 针对不同的情况来确定不同的填充方法 如果丢失 块周围的存在任意一个边界点区域顺斜率延伸与丢失块相交则丢失块按照结构区域来修复即按 照边界方向即结构的方向角向内进行加权填充 如果丢失块周围即整个24*24区域内不存在边界点 或者边界点按照结构的方向角进行延伸不与丢失块相交的话则认为丢失块是图像的纹理区域按 照纹理的修复方法对图像进行修复 由于结构区域至少存在一个边界点区域的按斜率方向延伸与丢失块相交所以填充的时候我们 按照这个斜率方向从相交的丢失块边界向内填充填充的方法为 =31),(,231),(,2/1/ ),(),(nmjinmnmjinmin ddnmf jif (3) 式中: ( ),infi j 为按照边界点区域的斜率方向内插得到的像素( ), i j 的值 邻域像素(),m n是按照斜率方向依次延伸的3 个象素 ,mnijd为像素(),m n和( ), i j的空间距离 对于每个有结构方向的边界按照上式的方法进行填充对于没有结构方向的边缘则按照边 界方向向内延伸即左边界横向向右延伸右边界横向向左延伸上边界纵向向下延伸下边界纵 向向上延伸延伸时候取邻近的两排 6 个象素点做加权计算即 =61),(,261),(,2/1/ ),(),(nmjinmnmjinmin ddnmf jif (4) 当四个边界都向内进行填充以后再将四个填充结果进行加权合成合成的表达式为 ldownrighttupleftdowntldownrighttrighttupupleftleft inkkkkjifkjifkjifkjifkjif+=),(),(),(),(),( (5) 其中( ),leftfi j( ),upfi j( ),rightfi j( ),downfi j分别代表四个边界按照各自的填充方法进行填充的在( ), i j处的灰度值leftkupkrightkdownk则分别代表了不同方向象素填充时对边缘的加权系数k 值的大小定义( ), i j所处位置与边界的距离的平方的倒数既离原始边界的距离越远则在整个修复结果中所占得的比例越小 4 修复实验结果 以上我们介绍了本文中关于基于块分割的图像修复技术的算法极其实现下面给出几个图像修 复效果的实例 (a) 图像块丢失率10% 图 2 Lina 图像在不同块丢失率情况下的修复结果 (a) 图像块丢失率10% 图 3 airplane图像在不同块丢失率情况下的修复结果 另外我们还对其它标准图库中的