基于特征的匹配n一. 特征匹配过程1 特征提取2 特征描述3 特征匹配n 二. SIFT算法Local features Detection:2 x 2 matrix of image derivatives (averaged in neighborhood of a point).（1）平移Translation （2）欧几里德几何（平移+旋转） （3）相似性变换（平移+旋转+尺度） （4）仿射变换 （5）投影变换The need for invariance1. 几何变换2. 光照变化n一. 特征匹配过程1 特征提取1.1 Harris and Hessian Detector1.2 尺度不变特征检测1.3 仿射不变特征检测1.4 特征提取总结2 特征描述3 特征匹配n 二. SIFT算法（1）Harris detector (Harris, 1988) Second moment matrix/ autocorrelation matrix公式由来说明影像信号的局部自相关函数给定点给定点(x, y)(x, y)及位移及位移( (x, x, y) y)，窗口为，窗口为WW，用差平方和，用差平方和(SSD)(SSD)近似自相关函数，计算窗近似自相关函数，计算窗 口口WW和位移窗口内灰度的差别。和位移窗口内灰度的差别。位移后影像函数通过一阶泰勒展开式近似重新计算 f(x,y):“second moment matrix M”Autocorrelation (second moment) matrixM can be used to derive a measure of “cornerness” Independent of various displacements (x, y) Corner: significant gradients in 1 directions rank M = 2 Edge: significant gradient in 1 direction rank M = 1 Homogeneous region rank M = 0nHarris detector 流程1. Image derivatives2. Square of derivatives3. Gaussian filter g( )4. Cornerness function5. Non-maxima suppressioncHarris tHarris（2）Hessian detector ( Beaudet,1978)nTaylor二阶展开式得到Hessian矩阵IIxxIxyIyy小总结nHarris detector Rotation invariant ? Yes The eigenvalues of M reveal the amount of intensity change in the two principal orthogonal gradient directions in the window. Scale invariant ? NonHessian detector Rotation invariant ? YesRotation invariant ? Yes Scale invariant ? NoScale invariant ? Non一. 特征匹配过程1 特征提取1.1 Harris and Hessian Detector1.2 尺度不变特征检测1.3 仿射不变特征检测1.4 特征提取总结2 特征描述3 特征匹配n 二. SIFT算法1.2 尺度不变特征检测n(1) 尺度选择n(2) The Laplacian-of-Gaussian (LoG) Detectorn(3) The Difference-of-Gaussian (DoG) Detectorn(4) The Harris-Laplacian Detectorn(5) The Hessian-Laplace Detector1.2 尺度不变特征检测n(1) 尺度选择1.2 尺度不变特征检测n n(1)(1)尺度选择尺度选择1.2 尺度不变特征检测n(2) The Laplacian-of-Gaussian (LoG) Detector1 Laplacian filterLaplacian算子具有旋转不变性，但对噪声很敏感，因此常需进行平 滑操作2 LoG filter高斯滤波平滑，然后拉普拉斯滤波。SmoothLaplacianI(x,y)O(x,y)Laplacian-of-Gaussian (LoG)尺度空间的局部极大值点1.2 尺度不变特征检测n(3) The Difference-of-Gaussian (DoG) Detector可用高斯差分函数(DoG)近似LoGsOriginal image Sampling with step s4 =2sssComputation in Gaussian scale pyramidnLoG and DoGnZero crossingsn“Mexican hat”, “Sombrero”nEdge detector !Lowes DoG keypoints LoweEdge zero-crossingBlob at corresponding scale: local extremum !Low contrast corner suppression: thresholdAssess curvature distinguish corners from edgesKeypoint detection: 1.2 尺度不变特征检测n(4) The Harris-Laplacian Detector1 初始化：多尺度下的Harris角点检测2 基于Laplacian的尺度选择Harris pointsHarris-Laplacian points1.2 尺度不变特征检测n(5) The Hessian-Laplace Detector思想与Harris-Laplacian Detector相同图：Hessian-Laplace算 子应用于具有尺度改变 的影像结果图：Harris-Laplace算子在 同一场景下不同尺度的两幅 影像上特征检测结果，圆的 半径代表了特征尺度大小 n一. 特征匹配过程1 特征提取1.1 Harris and Hessian Detector1.2 尺度不变特征检测1.3 仿射不变特征检测1.4 特征提取总结2 特征描述3 特征匹配n 二. SIFT算法1.3 仿射不变特征检测nHarris/Hessian Affine给定一组由Harris-Laplace算子得到其尺度特征的初始 点，用椭圆形区域获得仿射不变性。具体处理步骤 如下：(1)由Harris-Laplace算子获得兴趣点初始区域(2)由二阶矩矩阵估计区域仿射形状(3)归一化仿射区域成为圆形区域(4)在归一化的影像上重新检测新的位置和尺度(5)如果二阶矩矩阵的特征值在新的点上不相等，则 转(2) 图：利用二阶矩矩阵的特征值估计兴趣点区域的仿射形状 ，变换是用该矩阵的平方根进行的，经过归一化的图像 XL和XR之间的变换是旋转变换关系，只取决于一个旋转 因子，因子大小代表了特征值的比率图：Harris-Affine算子检测的从不同视角得到的结果图 图：Hessian-Affine算子得到的不同视图下的影像检测结果一. 特征匹配过程1 特征提取1.1 Harris and Hessian Detector1.2 尺度不变特征检测1.3 仿射不变特征检测1.4 特征提取总结2 特征描述3 特征匹配二. SIFT算法DetectorIlluminati onRotationScaleAffineHarris cornerYesYesNoNoDoGYesYesYesNoHarris_L aplacianYesYesYesNoHarris_Af fineYesYesYesYesn Harris-Laplace (HRL)scale-adapted Harris (rotation invariant)Laplacian-of-Gaussian scale-space (scale invariant)detects cornerlike structuresn Hessian-Laplace (HSL)Hessian detector (rotation invariant)Laplacian-of-Gaussian scale-space (scale invariant)blob-like structureshigher localization accuracy than DoGhigher scale selection accuray than HRLLaplace kernel fits better to blobs than to cornersn Difference-of-Gaussian (DoG)local scale-space maxima of the DoGblob-like structuresrespond to edges (unstable)n Harris-Affine (HRA)localization and scale estimated by HRLaffine adaptation process based on second moment matrixn Hessian-Affine (HSA)HSL + affine adaptation process一. 特征匹配过程1 特征提取2 特征描述2.1 概述2.2 几种特征描述方法3 特征匹配n 二. SIFT算法2.1 特征描述概述nExtract vector feature descriptor surrounding each interest point.nThe ideal descriptor should benRepeatablenDistinctivenCompactnEfficientnChallengesInvariant：IlluminationScaleRotationAffineIlluminationScaleRotationAffine一. 特征匹配过程1 特征提取2 特征描述2.1 概述2.2 几种特征描述方法3 特征匹配二. SIFT算法2.2 几种特征描述方法n(1) Raw patchesn(2) Moment invariantsn(3) Filtersn(4) SIFT descriptorn(5) SURFn(1) Raw patches描述特征点邻域的最简单方法是直接将邻域的 像素灰度强度构成特征向量。用相关系数估计两个描述子的相似程度缺点：1 对位置，尺度，姿态的变化敏感2 弱区分性n(2) Moment invariants1962年Hu提出了图像识别的不变矩理论，即图像的7个不变矩具 有平移、旋转、比例不变性。为图像识别建立了一种统计特征 提取方法，得到了广泛应用。以下7个对平移、旋转和尺度变换不变的矩是由归一化的二阶和 三阶中心矩得到的：n(2) Moment invariantsGeneral moments of order p+q and degree a:Central moments pq: invariant to translationNormalized central