遥感信息融合图像信息融合教学内容1、概述2、遥感图像融合方法3、像元级融合算法图像信息融合一、概述在实际的遥感应用中会涉及到各种各样的遥感数据在实际的遥感应用中会涉及到各种各样的遥感数据; ;融合的目的在于提高图像的信息可用程度，同时增加对研究对象识别的可靠性，或者为进一步的专题信息的高效提取奠定基础。图像融合是通过一定的算法将两个以上的图像数据图像融合是通过一定的算法将两个以上的图像数据结合在一起生成一个新的图像结合在一起生成一个新的图像 ; ;任何一个单一遥感器的遥感数据都不能全面反映目任何一个单一遥感器的遥感数据都不能全面反映目标对象的特征，也就是都有一定的应用范围和局限标对象的特征，也就是都有一定的应用范围和局限性性; ;各类非遥感数据（包括地学常规手段获得的信息）各类非遥感数据（包括地学常规手段获得的信息）也有它自身的特点和局限性也有它自身的特点和局限性 图像信息融合2020世纪世纪7070年代年代: :多源相关多源相关 多传感器融合多传感器融合 多数据融合多数据融合概念概念; ;2020世纪世纪8080年代年代: :数据融合数据融合; ;2020世纪世纪9090年代以后年代以后: :应用范围得到拓展应用范围得到拓展, ,由军事领域由军事领域进入其它应用领域进入其它应用领域, ,如如: :遥感图像处理、智能机器人、遥感图像处理、智能机器人、军事、医学、控制等领域得到了广泛的应用。军事、医学、控制等领域得到了广泛的应用。发展历程发展历程图像融合是数据的融合重要的分支之一图像融合是数据的融合重要的分支之一。图像信息融合数据融合的定义数据融合的定义概念概念(军事领域，美国国防部军事领域，美国国防部): 数据融合是一个对多源数据进行多层次、多方面自动检测、联合、相关、估计和结合的过程。这个定义是数据融合的广泛定义.1)强调了融合的多元性; 2)强调融合的过程性。目前定义目前定义: 数据融合是一个公共的规范框架，框架包含用于联合源于不同传感器的数据的方法和工具。融合的目的是得到更高质量的信息，对信息质量的评价随着应用的不同而异。图像信息融合遥感图像融合遥感图像融合 一般多指将不同类型传感器获取的同一地区的图像数据进行几何配准，然后采用一定的算法将各图像数据中所含的信息优势或互补性有机地结合起来产生新图像数据的技术。 着重于把那些在空间或时间上冗余或互补的多源数据，按一定的规则（或算法）进行运算处理，获得比任何单一数据更精确、更丰富的信息，生成一幅具有新的空间、波谱、时间特征的合成图像。 图像信息融合1）遥感图像融合的三个层次）遥感图像融合的三个层次 像元级融合像元级融合是指直接在采集的原始数据层上进行融合。它强调不同图像信息在像元基础上的综合，先对栅格数据进行相互的几何配准，在各像元一 一对应的前提下进行图像像元级的合并处理，以改善图像处理的效果，使图像分割、特征提取等工作在更准确地基础上进行，并可能获得更好的图像视觉效果。最低层次的融合。是基于最原始的图像数据，能更多地保留图像原有的真实感，提供其他融合层次所不能提供的细微信息，因而被广泛应用。 。图像信息融合 特征级融合特征级融合是指运用不同算法，首先对各种数据源进行目标识别的特征提取如边缘提取、分类等，即先从初始图像中提取特征信息空间结构信息如范围、形状、领域、纹理等；然后对这些特征信息进行综合分析与融合处理。特征级不要求数据来自同类的数据源，因此理信息的覆盖范围更大，比如可以将遥感图像信息和地面信息融合。特征级融合是中等层次的融合，它首先将各种待融合的数据分别按照各自的处理方法进行待征提取，然后对提取出的特征进行融合。特征层处理的特点相当于对原始的信息进行了一次压缩处理，因此该种方法在预处理阶段处理的信息量比像元级融合更大，融合中的计算量比像元级融合低，缺点是丢失了部分信息，因此精度比像元级融合差。图像信息融合 决策级融合决策级融合是指在图像理解和图像识别基础上的融合。是经“特征提取”和“特征识别”过程后的融合。首先从待处理的图像（原始图像、像元级或特征级图像）分别进行信息提取（分类），再将得到的增值信息或分类结果通过一定的决策规则进行融合来解决不同数据所产生的结果的不一致性，从而提高对研究对象的辩识程度。它是一种高层次的融合，往往直接面向应用，为决策支持服务。图像信息融合像元级图像1图像2图像n评价结果处理过程特征级图像1图像2图像n融合评价结果处理过程特征提取决策级图像1图像2图像n融合评价结果处理过程特征提取特征识别融合图像融合的三个层次图像融合的三个层次 图像信息融合2）遥感图像融合的技术）遥感图像融合的技术 同一传感器遥感数据的融合同一传感器遥感数据的融合同一传感器对同一地区在不同时间扫描所得数据的融合；同一传感器在不同的波段所得数据的融合；同一传感器在不同的偏光下所得数据的融合；同一传感器在不同的高度下所得数据的融合； 不同传感器遥感数据的融合不同传感器遥感数据的融合 遥感与非遥感数据的融合遥感与非遥感数据的融合图像信息融合3）遥感图像融合的目的）遥感图像融合的目的1 1、提高空间信息、光谱信息、提高空间信息、光谱信息2 2、动态变化监测、动态变化监测3 3、增强特征、增强特征4 4、提高分类识别精度、提高分类识别精度5 5、信息互补、信息互补图像信息融合二、遥感图像融合方法像素级融合特征级融合决策级融合代数法贝叶斯方法模糊判断IHS方法证据理论贝叶斯方法HPF方法神经网络法神经网络方法小波变换方法小波变换可靠性理论回归模型法熵法PCA法卡尔曼滤波法图像信息融合1）像素级的图像融合算法）像素级的图像融合算法1 1、代数法、代数法（1）加法像素级融合的最直接的方法就是对待融合的多幅图像直接进行平均运算。在数学上可以证明，多幅图像平均的结果是使图像的方差降低，这虽然有利于降低图像的噪声，但同时也使得图像的边缘、轮廓等重要信息变得模糊。图像信息融合（2）减法可以用于：区分不同的地物。假如物体甲对不同频率电磁波的反射能力基本相同，而物体乙却有差异，那么对这两种物体的遥感图像进行相减操作，就可以提供一些区分这两类物体的信息；提取地物变化的趋势。将同一地区不同时间的遥感图像进行相减，可以从中得出这一地区地物光谱变化的信息。图像信息融合（3）比值变换融合比值变换融合算法： B1/（B1+B2+B3）D=DB1 B2/（B1+B2+B3）D=DB2 B3/（B1+B2+B3）D=DB3式中：Bi（i=1,2,3）-多光谱图像；D高分辨率图像； DBi（i=1,2,3）-比值变换融合图像；图像信息融合例：TM和SPOT影像融合图像信息融合（4）乘积变换融合乘积变换融合算法按下式进行： DBi=DBi通过变换融合得到的融合图像其亮度成分得到增加。（5）加权平均法在加权平均法中，通过加权系数的最佳选取，可以达到最大限度的信息互补，加权系数可以通过计算输入图像的协方差矩阵的主元素对应的特征向量得到，与加法类似，这种方法也存在使图像边缘变模糊的情况。图像信息融合2 2、变换域法、变换域法通过将图像变换到频域或其它变换域进行处理，如通过滤波方法、离散余弦变换等。根据图像频谱的概念，高频部分对应图像中灰度急剧变化的部分，低频部分对应灰度变换缓慢的部分。对一幅遥感图像来说，高频分量包含了图像的空间结构，低频分量则包含了光谱信息，这一概念是多种变换域融合方法的基础，在金字塔算法和小波分解算法中，都使用了这个概念。图像信息融合图像处理过程（1）首先将待融合的图像进行几何校正，分辨率配准。（2）将高空间分辨率的全色图像进行高通滤波处理，提取出高分辨率图像的空间结构信息；（3）将提取出的空间结构信息分别与高光谱图像的各波段进行融合处理（采用直接相加的方法）；（4）将融合的结果重新进行假彩色合成；图像信息融合3 3、色彩空间法与色彩映射法、色彩空间法与色彩映射法l彩色的数字表达可以使用不同的表达方法，如常用的红（R、G、B）系统和IHS系统。色彩空间法可以根据需要在不同色彩空间进行变换，主要包括IHS变换方法等；l色彩映射法主要是指假彩色合成方法，它是利用人眼对色彩变化的分辨率比对灰度等级变化率更为敏感的原理，利用某种假彩色技术，将蕴藏在原始图像中的灰度信息用彩色信息表达，使得人对图像细节有更为细致的认识。图像信息融合4 4、多分辨率分析法、多分辨率分析法包括金字塔方法和小波分析方法等。一幅图像的金字塔分解是由一系列低通和带通结果伴随着抽样形成的，利用某种规则可以从源图像的金字塔分解中形成一个新的金字塔系数，再对其进行重构形成新的融合图像。常用的有高斯金字塔、拉普拉斯金字塔、比率低通金字塔、对比度金字塔等。图像信息融合神经网络方法、证据理论方法、模糊数学的方法、推理理论方法等。5 5、智能化方法、智能化方法图像信息融合2）特征级、决策级融合方法）特征级、决策级融合方法信息的不确定性：信息的不确定性：1）随机性）随机性-随机数学随机数学2）模糊性）模糊性-模糊数学模糊数学3）不确定）不确定-证据理论证据理论图像信息融合1）贝叶斯理论）贝叶斯理论假设各传感器系统提供的决策相互独立，就可以将这些决策看作一个样本空间的划分，使用Bayes条件概率公式确定系统的决策问题。设系统可能的决策为A1，A2Am，当某一传感器对系统进行观察时，得到观察结果为B，如果能够利用系统的先验知识及该传感器的特性得到各先验概率P（A）和条件概率P（B/A,)，则利用Bayes条件概率公式，根据传感器的观测将先验概率更新为后验概率p(A/B)：图像信息融合缺点是：先验概论的确定困难；当有多个观测源和多个观测证据时，由于涉及到多个条件相关事件的概率，计算较为复杂；Bayes理论不能很好的表达总体的不确定性。图像信息融合2）证据理论）证据理论证据理论是研究认识不确定问题的另一种理论，与Bayes理论不同，它认为对于概率推断的理解，不仅要强调证据的客观性，也要强调证据的主观性，概率是人在证据的基础上构造出的对一命题的信任程度，证据理论可以根据各源信息对系统整体进行归纳与估计，做出正确的决策。证据理论允许把整个问题和证据分为若干子问题和子证据，在对子问题和子证据处理的基础上，利用Dempster组合规则，得到整体的解。图像信息融合3）模糊综合评判方法）模糊综合评判方法又称模糊综合决策，是利用模糊集理论对受多种因素影响的事物或现象做综合评判的方法，是事物评判过程中的一种多因素识别和判别过程。要进行模糊综合评判，首先必须确定:（1）因素集U=u1，u2.，um；（2）评语集V=v1，v2，vn；（3）评判矩阵R = rij mn，其中rij表示从第i个因素角度做出第j个评语的可能程度。图像信息融合4）神经网络方法）神经网络方法神经网络能够实现一种特殊的非线性变换，把输入空间变换到隐层输出所形成的空间，使得在这个空间中其后的分类问题变得比较容易。这种变换是把一种特殊的特征提取准则最大化，可以看作是特征提取器的一种。而且神经网络的并行处理能力使得它计算速度快，可以对各种不同传感器的不同类型数据进行非线性并联并融合成一个矢量，神经网络在信息融合中有着广阔的应用前景。图像信息融合3）融合效果评价）融合效果评价l主观评价：目前主要是采用目视判读方法。1）结果图像被降解到它原来的分辨率时，必须和原来的图像保持一致；2）结果图像应当和高分辨率图像尽可能一样；3）结果图像的光谱特性应当和多光谱图像尽可能一致。图像信息融合分数质量尺度妨碍尺度5非常好丝毫看不出图像质量变坏4好能看出图像质量变坏，但不妨碍观看3一般清楚地看出图像质量变坏，对观看有妨碍2差对观看有妨碍1非常差非常严重的妨碍观看图像的主观评价标准图像信息融合l客观评价评价参数1）灰度平均值与方差图像信息融合2）图像的信息熵3）相关系数图像信息融合三、像元级融合常用算法1）HIS变换变换2）主分量变换）主分量变换3）比值变换）比值变换4）乘法变换）乘法变换5）小波变换）小波变换图像信息融合1 1、预处理技术、预处理技术目的：消除各种原因所引起的图像几何畸变，使得地物与遥感图像像元保持正确的对应关系；解决待融合图像之间（如TM图像与SPOT图像）的分辨率不同的问题；待融合图像的灰度级范围可能不一致，如果直接进行融合将造成光谱失真。图像信息融合主要技术：几何校正分辨率配准图像配准指的是从不同传感器、不同时间、不同角度获得的两幅或多幅图像进行的最佳匹配。同一地物在不同对象上的对应关系。 待融合图像的分辨率相同，但图像之间存在相对偏移或几何畸变；待融合图像的分辨率不同；图像信息融合分辨率配准-插值；插值图像放大示意图插值图像放大示意图 ？插值的对象？黑点：原始图像的像素黑点：原始图像的像素白点：插值所得的像素白点：插值所得的像素？插值前后图像信息量的变化？图像信息融合图像的灰度直方图匹配直方图匹配就是首先把原图像的直方图变换为某种特定形态的直方图，然后按照己知指定形态的直方图来调整原图像各像素的灰度级，最后得到一个直方图匹配的图像。 图像信息融合2 2、加权融合、加权融合基于像元的加权融合对两幅图像Ii，Ij按下式进行： Iij=A（PiIi+PjIj）+B其中：Pi，Pj为两个图像的权，其值由下式决定：ri,j为两幅图像的相关系数： 图像信息融合融合过程（融合过程（SPOT全色和全色和TM多光谱为例）多光谱为例）1）对两幅图像进行几何配准，并对多光谱图像重采样使之与全色图像分辨率相同；2）、分别计算全色波段与多光谱波段图像的相关系数图像信息融合3）用全色波段图像和多光谱波段图像按下式组合图像信息融合3 3、基于、基于IHSIHS变换的融合变换的融合IHS变换就是RGB空间与IHS空间之间的变换RGB是最常用的色彩模型，面向硬件的，几乎所有的显示器都采用了这种色彩空间，正交坐标系统，优点是简单，其它的颜色空间必须转换到RGB空间才能显示。RGB彩色立方体。 IHS定义了一个柱形彩色空间。明度I、色度H饱和度S；图像信息融合转换的必要性：转换的必要性：人的眼睛不能直接感觉红、绿、蓝三色的比例，只能通过感知颜色的亮度、色调以及饱和度来理解颜色，而色调、饱和度与红、绿、蓝三基色之间的关系不是线性的，因此RGB空间中对图像的增强较难控制，需要转换到IHS空间中来。 I（Intensity）主要表现图像的空间结构的信息，由图像的地物反射能量决定；色度H（Hue）是指组成色彩的主波长，由红绿蓝色的比重所决定；饱和度S（Saturation）它与色度合称为色品，主要反映地物的光谱信息。图像信息融合IHS和RGB的转换算法球体变换S=0，当D=dH=0, 当S=0H=60(2+B-G)，当R=D，S0H=60(4+R-B)，当G=D，S0H=60(6+G-R)，当B=D，S0D=max(R,G,B),d=min(R,G,B),sub=D-d图像信息融合柱体变换图像信息融合三角变换当RBG时当GRB时当BGR时图像信息融合单六角椎变换D=max(R,G,B),d=min(R,G,B),sub=D-d，I=D,图像信息融合IHS融合实例：TM+SPOT1）将三个波段数据（通常为低分辨率、多光谱图像）进行插值放大，使其分辨率与高分辨率图像保持一致2）将三个波段的数据应用指定的变换公式从RGB空间变换到IHS空间；3）将原I分量用另一高分辨率图像I替换；4）将I、H、S应用逆变换公式从HIS空间逆变换到RGB空间，生成融合图像。图像信息融合多光谱图像I多光谱图像II多光谱图像III放大放大放大分量I分量II分量III几何配准高分辨率图像逆变换高分辨率多光谱图像I高分辨率多光谱图像II高分辨率多光谱图像III正变换图像信息融合3IHS融合变换的缺点融合变换的缺点（1）不可避免地出现光谱特征扭曲。（2）多光谱图像参与变换的只能是三个波段。图像信息融合4 4、基于、基于PCAPCA变换的融合变换的融合主分量变换又称为K-L变换，Hotelling变换，是一种基于目标的统计特性的最佳正交变换。解决多个变量的情况是经常会遇到的；是一种降维处理技术，用较少的几个综合指标来代替原来较多的变量指标，而且使这些较少的综合指标既能尽量多地反映原来较多指标所反映的信息，同时它们之间又是彼此独立的。图像信息融合PCA变换的性质（1）变换后的各分量正交或不相关（2）变换后的各分量的非零平方期望或方差更加不均。（3）能量向主分量集中。图像信息融合PCA变换实例：TM+SPOT步骤：（1）待融合图像首先进行几何校正。校正好的图像要进行精确配准，要求误差在一个像素之内。（2）计算n波段TM图像的相关矩阵（3）计算上述矩阵的特征值与各特征值对应的特征向量；（4）将特征值按从大到小的顺序排序，相应的特征向量也要跟着变动，将最终的结果记为图像信息融合（5）计算各主分量（6）将SPOT图像和第一主分量图像进行灰度直方图匹配，然后将第一主分量用SPOT图像替换；（7）作逆主成分变换即得到融合后的图像。图像信息融合TM5(R)4(G)3(B)图像SPOT图象图像信息融合TM图像第一主分量主成分融合图像图像信息融合1、各波段数据的统计特征分析、各波段数据的统计特征分析波段TM1TM2TM3TM4TM5TM6TM7最小值702114511180最大值255142197186255168152均值99.59766643.77874358.81768664.453825107.642212145.22414953.644552标准差17.43942312.46317521.30725017.33342735.6308916.35855121.145113信息量最丰富前三个波段是?图像信息融合2、各波段数据的相关分析、各波段数据的相关分析波段号TM1TM2TM3TM4TM5TM6TM7TM11.000000TM20.9737531.000000TM30.9336940.9754971.000000TM40.6461160.7230730.7032251.000000TM50.5838590.6716770.7757190.6224851.000000TM60.3694920.3904990.4779640.2987590.6135631.000000TM70.7136720.7882890.8673560.6135350.9479160.6007881.000000相关性最大的波段是?图像信息融合3、各波段数据的主成分分析、各波段数据的主成分分析成分方差百分比（%）特征向量TM1TM2TM3TM4TM5TM6TM7第一主成分82.220.278690.2168100.3980730.2575610.6872730.0755390.415298第二主成分11.350.5446930.3363660.4004940.275184-0.575835-0.076620-0.128798第三主成分4.570.2443350.0904760.222503-0.909652-0.0542420.0750590.215789图像信息融合PCA融合方法结果统计量原始TM图熵值PCA融合后图像熵值融合后图像与TM图像相关系数R波段7.66277.52110.9037G波段7.47427.50220.9542B波段7.23417.45790.8221图像信息融合