遥感图像处理-图像融合遥感图像处理-图像融合 中国科学院遥感应用研究所 孟 瑜中国科学院遥感应用研究所 孟 瑜 mengyu_irsa 2009年3月23日2009年3月23日 中国科学院遥感应用研究所 背景背景 ?随着遥感技术的发展，越来越多的不同类型遥感器被用于 对地观测。这些多遥感器、多时相、多分辨率、多波段的 遥感图像数据，各自显示了自身的优势和局限。为了更充 分运用这些数据资源，数字融合技术应运而生。 中国科学院遥感应用研究所 内容提纲内容提纲 ?概述 ?遥感数据融合方法介绍 ?遥感与非遥感数据融合方法介绍 ?融合质量评估 中国科学院遥感应用研究所 1、概述 中国科学院遥感应用研究所 定义定义 ? 数据融合( Fusion, Merge)指同一区域内遥感数据之间或遥感数据与 非遥感数据之间的匹配融合。 ? 多种遥感数据源信息融合是指利用多种对地观测技术所获取的关于同 一地物的不同遥感数据，通过一定的数据处理技术提取各遥感数据源 的有用信息，最后将其融合到统一的空间坐标系(图像或特征空间)中 进行综合判读或进一步的解析处理。 ?图像融合是一个对多遥感器的图像数据和其他信息的处理过程。着 重于把那些在空间和时间上冗余或互补的多源数据，按照一定的规则 进行运算处理，获得比任何一种数据更精确、更丰富的信息，生成一 幅具有新的空间、波谱、时间特征的合成图像。 中国科学院遥感应用研究所 数据融合的发展数据融合的发展 ?数据融合的概念始于70年代。进入20世纪90年代以后，随 着多种遥感卫星的发射成功，从不同遥感平台获得的不同 空间分辨率和时间分辨率的遥感影像形成了多级分辨率的 影像金字塔序列，给遥感用户提供了从粗到精、从多光谱 到高光谱的多种遥感数据源。融合的发展在一定程度上解 决了多种数据源综合分析的问题。 中国科学院遥感应用研究所 数据融合的发展数据融合的发展 1. 起初是进行同种遥感数据多波段、多时相的数据融合，以提高遥 感解译能力和进行动态分析。 2. 后来发展到不同类型遥感数据的融合，如陆地卫星与气象卫星、 陆地卫星MSS与航天飞机成象雷达SIRA、陆地卫星MSS与海洋卫 星侧视雷达SAR，以及陆地卫星 MSS与RBV等，以扩大应用范围， 提高分析精度，获得更好的遥感应用效果。 3. 与此同时，人们越来越感到由于遥感本身以及实际应用中的局限 性，要真正认识事物，并非遥感独家所能完成。它需要其它学科 的支持，只有遥感与非遥感数据的融合，如与气象、水文数据， 与重力、磁力等地球物理增息，与地球化学勘探数据，与专题地 图数据，以及与数字地形模型（DTM）等数据融合，进行综合分 析，才能更好地发挥作用。 中国科学院遥感应用研究所 数据融合的目标数据融合的目标 ?空间分辨率的提高 ?目标特征增强 ?提高分类精度 ?信息互补 中国科学院遥感应用研究所 概述-图像融合的流程概述-图像融合的流程 精 确 几 何 配 准精 确 几 何 配 准 精 确 几 何精 确 几 何 配 准配 准 几何纠正几何纠正 几何纠正几何纠正 全色全色 全色全色 几何纠正几何纠正 几何纠正几何纠正 ZYa ZYa ZYb ZYb ZYc ZYc 图 像 融 合图 像 融 合 图 像 融 合图 像 融 合 融合结果评价及利用融合结果评价及利用 融合结果评价及利用融合结果评价及利用 预 处 理预 处 理 融合处理融合处理 应 用应 用 遥感图像融合流程图 中国科学院遥感应用研究所 概述-图像融合的层次概述-图像融合的层次 像素级像素级 像素级像素级 特征级特征级 特征级特征级 决策级决策级 决策级决策级 对数据的抽象程度 中国科学院遥感应用研究所 概述-图像融合的层次概述-图像融合的层次 图像融合的三级处理过程 Image1 Image1 Image2 Image2 Image n Image n Image3 Image3 图 像 几 何 纠 正 与 精 确 配 准图 像 几 何 纠 正 与 精 确 配 准 图 像 几 何 纠 正 与 精 确 配 准图 像 几 何 纠 正 与 精 确 配 准 像 素 级 融 合像 素 级 融 合 像 素 级 融 合像 素 级 融 合 特征提取特征提取 特征提取特征提取 特征提取特征提取 特征提取特征提取 特 征 级 融 合特 征 级 融 合 特 征 级 融 合特 征 级 融 合 决 策 级 融 合决 策 级 融 合 决 策 级 融 合决 策 级 融 合 特征属性说明特征属性说明 特征属性说明特征属性说明 高层态势评估高层态势评估 高层态势评估高层态势评估 决策决策 决策决策 中国科学院遥感应用研究所 概述-图像融合的层次概述-图像融合的层次 ?像元级 线性加权法、SFIM、IHS变换、PCA变换、高通滤波法、小 波变换融合算法等。 ?特征级 Dempster-shafer推理法；聚类分析法；贝叶斯估计法； 熵法；带权平均法；表决法及神经网络法等。 ?决策级 贝叶斯估计法；专家系统；神经网络法；模糊集理论；可 靠性理论以及逻辑模板法等。 中国科学院遥感应用研究所 数据融合的技术关键数据融合的技术关键 ?充分认识研究对象的地学规律。 ?充分了解每种融合数据的特点和适用性。 ?充分考虑到不同遥感数据之间波谱数据的相关性引起 的有用数据的增加以及噪声误差的增加，因此对多种 遥感数据作出合理的选择。 ?几何配准，即解决遥感图像的几何畸变，解决空间配 准问题。 只有对地学规律、影象特征、成象机理这三者有深刻 的认识，并把它们有机地结合起来，数据融合才能达 到更好地效果。 中国科学院遥感应用研究所 2、遥感数据融合方法介绍 中国科学院遥感应用研究所 遥感数据融合遥感数据融合 ? 遥感数据的融合主要指不同传感器的遥感数据的融合， 以及不同时相的遥感数据的融合。融合方式的确定应根据 目标空间分布、光谱反射特性及时相规律方面的特征选择 不同的遥感图像数据，它们在空间分辨率、光谱分辨率和 时间分辨率方面相互补充，以形成一个更有利的识别环境 ，来识别所要识别的目标或类型。 中国科学院遥感应用研究所 遥感数据融合预处理遥感数据融合预处理 ?影像配准是数据融合处理中的关键步骤，其几何配准精度 直接影响融合影像的质量。通常情况下，不同类型的传感 器影像之间融合时，由于它们成像方式的不同，则其系统 误差类型也不同。如SPOT与TM数据融合时，SPOT的传感器 是以CCD推帚式扫描成像的，而TM则是通过光机扫描方式 成像的，因而不同类型影像进行融合时必须经过严密的几 何校正，分别在不同数据源的影像上选取控制点，用双线 性内插或三次卷积内插运算对分辨率较低的图像进行重采 样，改正其误差，将影像投影到同一的地面坐标系统上， 为图像配准奠定基础。 中国科学院遥感应用研究所 像素级图像融合像素级图像融合 像素级融合是最低层次的图像融合，它将经过高精度图像配准后 的多源影像数据按照一定的融合原则，进行像素的合成，生成一幅新 的影像。融合的目的在于提高图像质量，提供良好的地物细节信息， 直接服务于目视解译，自动分类。高空间分辨率的全色影像和高光谱 分辨率的高光谱影像的像素级融合影像一般具有以下性质（Wald,1997 ）： p融合影像空间特性应当和高空间分辨率的影像尽可能保持一致； p融合影像的光谱特性应当和多光谱影像尽可能保持一致； p融合影像的空间分辨率被降解到低分辨率时，必须和原来的影像保持 一致。 中国科学院遥感应用研究所 像素级数据融合的发展历程像素级数据融合的发展历程 ?早期：代数运算法、彩色空间法等，以图像视觉增强为主 要目的 ?转变期：以高通滤波方法的出现为标志，开始注重数据融 合的光谱保持能力 ?当前：依赖先进的数学工具，在信号分析的基础上，进一 步强调光谱保持能力 中国科学院遥感应用研究所 当前像素级数据融合的研究特点当前像素级数据融合的研究特点 ?研究工具：新的数学理论和计算智能理论 ?研究手段：对已有方法进行组合、集成 ?研究目标：以光谱信息提取为目标 中国科学院遥感应用研究所 遥感数据常用的像素级融合方法遥感数据常用的像素级融合方法 ?代数法 ?基于分量替换的影像融合法 y基于HIS变换的影像融合法 y基于G-S变换的影像融合法 y基于主成分分析的影像融合法 y基于高通滤波影像融合法 y基于小波变换影像融合法 y基于小波的HIS影像融合 中国科学院遥感应用研究所 代数法代数法 将低空间分辨率 图像重采样成高 空间分辨率图像 传感器1 影像数据 传感器1 影像数据 传感器2 影像数据 传感器2 影像数据 空间配 准空间配 准 对应像素代数运算对应像素代数运算 融合融合 影像数据影像数据 常用代数法：常用代数法： （1）相乘：适用于SAR影像（1）相乘：适用于SAR影像 与光学影像； 与光学影像； （2）相关系数加权法：适（2）相关系数加权法：适 用于全色影像与多光谱影像。 用于全色影像与多光谱影像。 中国科学院遥感应用研究所 代数法-相关系数加权法代数法-相关系数加权法 ? 以SPOT全色影像与TM多光谱影像融合为例； ? 融合步骤： （1）对SPOT全色影像与TM多光谱影像进行图像配准；将多光谱影像 进行重采样，使其大小和全色波段影像一致； （2）计算多光谱影像各波段与全色影像的相关系数： （3）按下式将全色波段图像的信息融合到多光谱图像各波段中 = = = m i m i n j kk n j m i n j kk k XjiXPjiP XjiXPjiP XP 111 2 1 2 11 ),(),( ),(),( ),( ),(),(1(),(),(1(5.0),(jiXXPjiPXPjiX kkkk += 中国科学院遥感应用研究所 Brovey ? Brovey变换使用中用来对来自不同传感器的数据进行融合的较为简单的融合 方法，该方法通过归一化后的多光谱波段与高分辨率全色影像乘积来增强影 像的信息。其融合购得红、绿、蓝三波段结果图像如下： ? R=bandR/(bandR+bandG+bandB)*pan ? G=bandG/(bandR+bandG+bandB)*pan ? B=bandB/(bandR+bandG+bandB)*pan ? 其中bandi/(bandR+bandG+bandB)体现了影像的光谱信息，Pan体现了影像的空 间信息。 ? 该方法有两个不足： y 一次操作只能对三个多光谱波段进行融合； y 颜色与原始多光谱波段相比有较大扭曲。 中国科学院遥感应用研究所 基于亮度平滑滤波调节的融合基于亮度平滑滤波调节的融合 ?（smoothing filter-based intensity modulation， SFIM） ? 算法基本原理： ?低分辨率影像 ?高分辨率影像 ?高分辨率影像进行均值滤波结果 lowhigh SFIM mean IMAGE*IMAGE IMAGE IMAGE = low IMAGE high IMAGE mean IMAGE 中国科学院遥感应用研究所 SFIM算法的意义（一）SFIM算法的意义（一） ?在不考虑大气和仪器定标因素的情况下, 由于波长 的影 像中的值由太阳入射辐射能量和地表的反射率两 个因素决定, 因此值可表示为: ?低分辨率的多光谱和高分辨率的全色影像的DN值分别表示 为 DN ( )E( ) ( )( )( )DNE = ( )( )( ) lowlowlow DNE = ( )( )( ) highhighhigh DNE = 中国科学院遥感应用研究所 SFIM算法的意义（二）SFIM算法的意义（二） ?假设同一幅影像，其邻近像元的太阳辐射是相等的。 ?假设在两个不同波长处，同一邻近区域的高分辨率和低分 辨率像素对应的地物光谱反射率比值相等。 ( )( ) (