全景图像拼接方法研究,作 者：毛 晓 冬 指导老师：梁 继 民,内容提要,图像拼接简介 图像拼接的主要步骤 摄像机运动的投影模型（projective model) 图像的对齐(registration) 图像的合成(blending) 图像拼接试验,图像拼接简介,什么是图像拼接？ 将多幅在不同时刻、从不同视角或者由不同传感器获得的图像经过对齐然后无缝地融合在一起，从而得到一幅大视场、高分辨率图像的处理过程。该图像被称为全景图。,图像拼接简介,传统全景图(panorama) 是由在一个固定位置上以不同角度拍摄到的一系列图像拼接而成的大视场图像。 特点：没有或只有轻微的运动视差 多重投影拼接图(multi-perspective mosaic) 是由在一些不同位置上拍摄到的一系列图像拼接而成的大视场图像。 特点：存在较大的运动视差（motion parallax),图像拼接简介,图像拼接简介,图像拼接中的几个主要问题： 使用图像数据和摄像机模型对几何失真进行校正。 使用图像数据及摄像机模型进行图像对齐。 消除拼接图像中的接缝。,摄像机运动模型,在拍摄过程中由于摄像机镜头的运动，使得拍摄到的相邻两幅图像中的景物会出现几何形变。 通过寻找能够恰当地将一幅图像与另一幅图像对准的几何变换来将两幅图像对齐。这些变换被称为对应(homography)。换句话说，这些几何变换是一种映射， 两幅有重叠区域的图像，其中一幅图像重叠区域中的一个点经过这种几何变换将被映射到另外一幅图像重叠区域中的某个点上。这样这两个点形成了对应关系。 在固定位置拍摄的条件下，我们通常使用8-参数运动模型以及其简化形式来概括或计算这些几何变换。,摄像机运动模型,homography,摄像机的8-参数运动模型,常见的几种几何变换：,平移（translation),旋转(rotation),水平切变(horizontal shear),投影(projection),8-参数运动模型,假设 和 分别是一个象素点的新旧坐标，一个二维仿射变换可以写为： 或是 尺度和旋转 垂直切变 水平切变,8-参数运动模型,仿射变换在统一坐标系下可以用一个矩阵相乘的形式来表示： 当引进尺度参数W后，就得到了8-参数模型：,8参数运动模型,平移、刚体、仿射以及透视变换对应的变换矩阵M的形式：,图像对齐,图像对齐 找出两幅图像之间最优的空间位置和色彩之间的变换关系，使一幅图像中的点最优地映射到另一幅图像中。它是图像拼接过程中的主要任务。,图像对齐方法,所使用的图像特征 特征点 频域 灰度值 优化算法 非线性最小二乘 傅立叶变换 小波变换 动态规划 遗传算法,对齐算法流程,投影到统一坐标系,初始变换矩阵M,最终变换矩阵M,图像合成,非线性最小二乘法进行优化,初始变换矩阵的获取,初始变换矩阵M可以通过提取特征点或者在频域上计算两幅图像的相位相关等方法来得到。 MATLAB中内建有cpselect函数，该函数允许用户在将要拼接的两幅图像的重叠区域中手工选取一定数量的匹配特征点对然后自动给出两幅图像之间的初始变换矩阵。,优化目标函数,假设I(x,y)和I(x,y)是两幅需要对齐的图像。 这种方法就是要使I(x,y)和I(x,y)的重叠区域中所有相应象素i的强度值之差的平方和最小，即：,L-M 非线性最小二乘算法,1.对于未对齐图像中（x,y）处的象素点 ， （a）计算它在基准图像中的位置,L-M 非线性最小二乘算法（cont.）,（b）计算误差梯度 （c）计算Hessian矩阵A和加权梯度向量b,其中,L-M 非线性最小二乘算法（cont.）,2.求解方程 并且更新变换矩阵 3.检查误差E的变化，如果增大，则适当地增加，重新计算一个m，然后重复步骤2；如果减小，则适当地减小，重新计算m ，然后重复步骤2。 4.不断进行迭代计算直到强度差E低于某一门限或执行完一定的次数为止。,拼接实验(1),拼接实验(2),拼接实验(3),拼接实验(4),后续工作,改进图像对齐算法：使用全局对齐算法以减少累计误差，并最终实现自动对齐而无续人工干预。 图像合成部分可以通过直方图均衡化或者平滑函数等方法来对图像拼接后的出现的接缝进行处理。,