BoVW(bag of visual words )模型介绍,BoVW模型介绍,主要内容 一、提出背景 二、框架 三、关键步骤 四、应用领域 五、存在问题及改进分析,BoVW模型介绍,一、提出背景 词袋模型最先是由Josef等基于自然语言处理模型而提出的。 类比一篇文章由很多文字 (textual words) 组合而成，如果將一張图片表示成由许多 视觉单词（visual words） 组合而成，就能将过去在文本检索（text retrieval）领域的技巧直接利用在图像检索（image retrieval）中，以文字检索系统现在的效率，图像表示的“文字化”也有助于大规模(large-scale)图像检索系统的效率。,BoVW模型介绍,一、提出背景,与文本文档进行类比,BoVW模型介绍,二、框架,视觉词典,生成sift描述子,生成视觉单词,视觉单词直方图,BoVW模型介绍,二、BoVW模型框架,视觉词典生成流程,图像视觉单词直方图生成过程,BoVW模型介绍,BoVW模型介绍,三 关键步骤 (i) 自动检测特征兴趣的区域/点； (ii) 计算该特征区域/点的描述子； (iii) 利用视觉词典(visual vocabulary)将特征描述子映射为视觉单词； (iv) 统计每个visual word在图像中的出现频率，生成视觉单词直方图。,BoVW模型介绍,三 关键步骤 3.1 关键区域/点检测 3.1.1 Harris-Laplace 检测子 旋转和尺度不变量,检测角点结构特征。,BoVW模型介绍,三 关键步骤 3.1 关键区域/点检测 3.1.2 DoG 检测子 检测高斯差分尺度空间的局部极值点区域。该检测子适合发现斑状结构（blob-like structures)。另外，DoG 点检测子目前在各类应用中性能很好，能够比其他检测子运算速度更快，同时根据压缩性（检测的特征点数更少）。,BoVW模型介绍,三 关键步骤 3.1 关键区域/点检测 3.1.3 Hessian-Laplace 检测子 与DoG检测近似，但是在尺度空间能获得更高的准确度，并且在尺度选择上的准确度也高于Harris-Laplace 。,BoVW模型介绍,三 关键步骤 3.1 关键区域/点检测 3.1.4 显著区域（Salient regions）检测子 3.1.5 Maximally stable extremal regions (MSERs),BoVW模型介绍,三 关键步骤 3.2 局部描述子SIFT 1999年British Columbia大学大卫.劳伊（David G.Lowe）教授总结了现有的基于不变量技术的特征检测方法，并正式提出了一种基于尺度空间的、对图像缩放、旋转甚至仿射变换保持不变性的图像局部特征描述算子SIFT（尺度不变特征变换），这种算法在2004年被加以完善。,BoVW模型介绍,三 关键步骤 3.2 局部描述子 sift 3.2.1 sift的特点 独特性好，信息量丰富，适用于在海量特征数据库中进行快速、准确的匹配。 多量性，即使少数的几个物体也可以产生大量SIFT特征向量。,BoVW模型介绍,三 关键步骤 3.2 局部描述子 sift 3.2.1 sift的特点(cont.) 经过优化的SIFT算法可满足一定的速度需求。 可扩展性，可以很方便的与其他形式的特征向量进行联合。,BoVW模型介绍,三 关键步骤 3.2.2 SIFT算法可以解决的问题 目标的旋转、缩放、平移（RST） 图像仿射/投影变换（视点viewpoint） 光照影响（illumination） 目标遮挡（occlusion） 杂物场景（clutter） 噪声,BoVW模型介绍,三 关键步骤 3.2.3 sift算法主要步骤 a) 尺度空间的生成,BoVW模型介绍,三 关键步骤 3.2.3 sift算法主要步骤 b) 检测尺度空间极值点,BoVW模型介绍,三 关键步骤 3.2.3 sift算法主要步骤 C) 精确定位极值点 D) 为每个关键点指定方向参数,梯度直方图,BoVW模型介绍,三 关键步骤 3.2.3 sift算法主要步骤 e) 关键点描述子的生成,BoVW模型介绍,Sift检测效果图,BoVW模型介绍,三 关键步骤 3.3 视觉单词的产生 3.3.1 聚类方法 最常用、最简单的方法是K_means，其他还有x_means,层次聚类等方法。 3.3.2 权重机制 TF、TF-IDF（term frequency and term frequency-inverse document Frequency）、binary weighting.,BoVW模型介绍,三 关键步骤 3.3 视觉单词的产生 3.3.3 软权重方法(soft_weighting) 3.3.4 停词(stop word)消除 Sivic and Zisserman 认为图像中最常见的视觉单词也是停词 ，可以从词典中删除。但目前没有实验表明删除视觉词典中的停词后有助于分类性能提升。,BoVW模型介绍,三 关键步骤 3.3 视觉单词的产生 3.3.5 视觉单词的选取 五种特征选取评判准则： i) document frequency (DF) 表示包含某视觉单词的图片的数目，在文本分类任务中，具有较小DF的单词会被删掉，因为在文本分类中较小DF的单词可能对分类而言没有多大意义。,BoVW模型介绍,BoVW模型介绍,BoVW模型介绍,iii) Information gain (IG) 信息增益是测量两个随机变量独立性的又一种方法。 单词t和类标签ci的信息增益计算如下：,然后计算平均信息增益，将低于平均信息增益的单词删除。,BoVW模型介绍,iv) Mutual information (MI),视觉单词小于平均MI值的将从视觉词典中剔除。,与信息增益有关，其计算方法如下：,BoVW模型介绍,四、应用领域 （1）视频/图像检索(Content-based image retrieval) （2）图像自动标注( image annotation) （3）物体识别(object recognize) （4）场景分类(scene classify),BoVW模型介绍,五、存在问题及改进分析 （1）空间信息的缺失：BoW模型一个很大的缺点是缺少特征点的空间关系信息，但这却是一个很重要的图片信息。 一些改进方法已经被提出：基于区域划分的方法；分层词袋模型；空间金字塔匹配方法；,BoVW模型介绍,五、存在问题及改进分析 （2）语义鸿沟：从低层特征到视觉单词生成过程时使用基于欧几里得距离的kmeans算法导致语义信息的丢失。 改进方法：利用机器学习方法构造具有语义保护的视觉单词词典。,