多媒体技术与通信上海大学通信与信息工程学院2014年10月第六章 多媒体数据库 提要6.1 多媒体数据库概述 6.1.1 数据管理方法的发展 6.1.2 多媒体数据库的基本概念及特征 6.1.3 多媒体数据库的相关技术6.2 多媒体数据库的实现方法 6.2.1 从关系数据模型发展多媒体数据库 6.2.2 面向对象的数据库 6.2.3 分布式超媒体数据库 6.2.4 多媒体数据库的体系结构6.3 多媒体信息的检索和查询 6.3.1 基本概念 6.3.2 基于内容的检索 2024年年7月月22日日3 3提要6.4 基于图像内容的检索 6.4.1 基于颜色特征的检索 6.4.2 基于形状特征的检索 6.4.3 基于纹理特征的检索 6.4.4 基于视频内容的检索 6.5 基于音频内容的检索 6.5.1 基于语音技术的检索 6.5.2 音频检索 6.5.3 音乐检索 6.6 基于内容检索的系统实例 2024年年7月月22日日4 46.1 多媒体数据库概述 多媒体数据种类繁多，具有时间特性和版本概念如何对多媒体数据进行组织和管理?产生了一种全新的数据库-多媒体数据库(MDB) 2024年年7月月22日日5 56.1.1 数据管理方法的发展 数据管理经历了由文件直接存储文件直接存储到数据库管理系统数据库管理系统的发展过程数据库管理系统数据库管理系统就是管理数据库的软件数据库数据库是指数据的汇集，数据以一定的组织形式存于存储介质上 2024年年7月月22日日6 6数据库管理系统的7个功能提供高级的用户接口查询处理和优化数据目录管理并发控制恢复功能完整性约束检查 访问控制 2024年年7月月22日日7 7数据库管理系统的分类数据库管理系统可分为分为n以关系模型关系模型为代表的传统数据库管理系统关系模型基本上把对象看成二维表,统一标准的框架n以面向对象面向对象模型为代表的非传统数据库管理系统 面向对象技术以自然、直观和科学的思维方式去看待、描述、定义和处理现实世界2024年年7月月22日日8 86.1.2 多媒体数据库的基本概念及特征多媒体数据库多媒体数据库要处理的信息信息包括数值、字符、文本、图形、图像、声音和视频等对这些信息进行管理、运用和共享的数据库就是多媒体多媒体数据库数据库 2024年年7月月22日日9 9多媒体数据库主要特点1.应能表示表示多种媒体的数据 2.多媒体数据库应能协调处理协调处理各种媒体数据，正确识别正确识别各种媒体数据在空间或时间上的关系3.应能提供比传统的DBMS更强更强的适合非格式化数据查询的搜索功能，提供浏览(Browse)功能4.网络网络功能 5.多媒体数据库系统应具有开放功能开放功能，提供多媒体数据库的应用程序接口API。6.多媒体数据库还应提供事务(transaction)和版本(version)管理管理功能 2024年年7月月22日日10106.1.3 多媒体数据库的相关技术多媒体数据库的相关技术相关技术有以下一些：1多媒体数据模型 多媒体信息检索依赖于多媒体信息的组织形式常见的多媒体对象是构造型的复合复合对象 典型的数据模型有超文本模型(网状模型)、文献模型(层次模型)和信息元模型(层次模型)等 2数据的压缩和还原 压缩方法要考虑考虑到复杂性、实现速度以及压缩质量等问题 2024年年7月月22日日1111多媒体数据库的相关技术（续）3存储管理和存取方法 大对象一般是分页面进行管理的 引入基于内容的检索方法、矢量空间模型信息索引检索技术、智能索引技术等 4用户界面 嵌入声音和图像等多媒体语言信息来操作多媒体数据库 5分布式技术 主要研究多媒体信息的处理和多用户系统的协调 6多媒体数据的传送技术 存在一些问题需要解决:数据量大，因此时延大大增加。解决方法一是增加网络带宽，二是改变多媒体信息传送的路径 声像同步问题也是一个重要的问题 2024年年7月月22日日12126.2 多媒体数据库的实现方法 数据模型是实现数据库管理系统的基础 数据模型分为3级概念数据模型概念数据模型是面向用户、面向现实世界的,主要用来描述一个单位的概念化结构物理数据模型物理数据模型不仅与DBMS有关，而且还与操作系统和硬件有关逻辑数据模型逻辑数据模型是用户从数据库所看到的数据模型，它与DBMS有关2024年年7月月22日日13136.2.1 从关系数据模型发展多媒体数据库实现多媒体数据库最简单的方法是利用关系数据库模型。关键是如何处理无格式的数据,处理无格式数据的3种策略:(1)关系数据库管理技术与操作系统中文件系统的功能相结合，实现对无格式数据的管理。只管理对无格式数据的引用，即文件名，而不是无格式数据本身缺点：要涉及操作系统的文件IO，所以效率较低优点：简单、易实现 2024年年7月月22日日1414处理无格式的数据的3种策略（续）(2)将无格式数据和关系元组中的格式化数据封装在一起，形成一个完整的元组，存放在数据页面或数据页面组中 缺点：系统较小，将增加实现的难度和系统开销优点：将格式化数据与无格式化数据统一处理，实现了 管理上的一致，使系统更加紧凑 2024年年7月月22日日1515处理无格式的数据的3种策略（续）(3)将元组中无格式数据分成两部分，一部分是格式化数据本身，另一部分是对无格式数据的引用 优点：资源分配使用较为合理，实现性能较好 缺点：基于关系数据模型的多媒体DBMS，典型的有ORACLE 7.O、INGRES 6.0、Informix-Online等。只能对字段的存在进行查询，不能实现基于字段内容的查询 例如：清华紫光的ITbase、华中理工大学的MDBMS等 2024年年7月月22日日16166.2.2 面向对象的数据库 封装性和可扩充性是面向对象技术的精髓复杂性、多样性又是多媒体数据及其处理的突出特征决定了面向对象数据库技术是构造多媒体数据库的一种比较适宜的手段2024年年7月月22日日17176.2.2 面向对象的数据库面向对象方法的基本特征 (1)对象把数据和有关操作封装在一起，更好地实现了数据的抽象(2)面向对象方法的继承体现在对象继承结构上，下层对象继承上层对象的特征，便于软件的演化和扩充(3)用消息将对象动态链接在一起，并采用灵活的消息传递方式，便于在概念上体现并行和分布式(4)具有信息隐藏性。对象把实现细节隐藏在内部，当要对其功能做完善和扩充而进行修改时，影响仅限于该对象内部，而不会对外界产生影响，易于软件的构造和扩充2024年年7月月22日日18186.2.3 分布式超媒体数据库 分布式超媒体数据库HDB系统是一种以超媒体信息管理技术为基础的分布式系统 ，向用户提供良好的人机交互方式。超媒体节点和链分别描述实体与实体间的联系 采用超媒体的浏览导航机制 ，浏览过滤功能 典型的商业应用是地理信息系统(GIS) 2024年年7月月22日日19196.2.4 多媒体数据库的体系结构多媒体数据库的体系结构一般有以下几种:(1)集中式结构 多媒体数据库管理系统具有管理各种媒体的功能 2024年年7月月22日日2020DBMS声音文本图像用户多媒体数据库的体系结构（续）(2)联邦式结构 由若干功能相同的集中式 DBMS松散集成 全局用户可以从任意一个节点登录 2024年年7月月22日日2121DBMS声音文本图像用户DBMS声音文本图像用户DBMS声音文本图像用户多媒体数据库的体系结构（续）(3)主从式结构 DBMS由一个主DBMS统一管理 2024年年7月月22日日2222DBMS声音文本图像用户DBMSDBMSDBMS视频DBMS多媒体数据库的体系结构（续）(4)客户机/服务器结构 客户机请求/服务器响应。从逻辑功能的角度来看，系统都可以分为用户交互、数据编组和多媒体数据管理这三个层次： w多媒体数据管理层主要完成多媒体数据库的存储管理和事务管理w数据编组层实现由多媒体数据库模式定义的时间同步和空间集成需求，对数据进行组合和调度w用户交互层既为最终用户服务，又为应用程序员服务用户交互层和数据编组层由客户机处理，多媒体数据管理层则由服务器来处理2024年年7月月22日日2323多媒体数据库的体系结构图2024年年7月月22日日2424模式管理DB维护查询浏览声音/图像编辑查询用户接口用户交互界面数据编辑数据编组层格式化数据管理非格式化数据管理离散媒体连续媒体多媒体数据管理层6.3 多媒体信息的检索和查询 信息的查询和检索有两大类基于表示的基于内容的 2024年年7月月22日日25256.3.1 基本概念 基于表示的检索和查询的数据类型和数据结构有关，不需要对内容作分析 基于内容的检索是指根据媒体对象的语义、特征进行检索 2024年年7月月22日日26266.3.2 基于内容的检索 基于内容的检索(Content Based Retrieval)就是指根据媒体和媒体对象的内容语义及上下文联系进行检索1基于内容的检索的特点 (1)从媒体内容中提取信息线索，突破了基于关键词检索局限 (2)提取特征的方法多种多样 例:形状特征、颜色特征、纹理特征、轮廓特征等 (3)大型数据库的快速检索 (4)基于内容的检索是一种近似匹配 2024年年7月月22日日27276.3.2 基于内容的检索w基于内容的检索可以利用图像处理、语音信号处理、模式识别、计算机视觉等学科中的一些方法作为部分基础技术 w基于内容的检索是一种信息检索技术 例如：用户想买一辆黄色的自行车，选定了黄色和自行 车的样式2024年年7月月22日日28282基于内容检索的技术 基于格式化数据的内容检索利用基于关键字的检索和全文本检索以及基于文件模型等方法语音、图像等非格式化数据的检索和查询，采用 “依据实例查询”(QueryByExample)的方法,分为以下几种:(1)准确实例检索和查询 用户给出的确切查询实例,完全的实例查询 (2)模糊实例查询 依照这个例子查找与它相似的图像 (3)描绘示例检索和查询 针对用户给出的所需图像的粗略结构描述进行处理 2024年年7月月22日日29296.4 基于图像内容的检索 分为静止图像检索和活动视频检索 检索的特征主要有颜色、纹理、草图、形状等 2024年年7月月22日日30306.4.1 基于颜色特征的检索 颜色是描述一幅图像最简便而有效的特征直方图的横轴表示颜色等级，纵轴表示在某一个颜色等级上具有该颜色的像素在整幅图像中所占的比例 以直方图为特征的常用的匹配方法 (1)直方图交叉法 (2)直接差值法 (3)矢量距离法 2024年年7月月22日日3131用不同的方法对图像进行预处理，然后用直方图进行匹配，以满足不同的检索要求。用转换后的直方图计算的差值对应于感知上的差别例如：HSV模型把彩色信号表示为3种属性即色调(Hue)、饱和度(saturation)和亮度(Value)。将H、S、V三个分量按照人的感知进行非等间隔量化，然后通过数学公式把HSV三维空间中的特征矢量转换为一维空间中的特征矢量2024年年7月月22日日32326.4.2 基于形状特征的检索 形状是刻划物体的本质特征之一，从图像中提取的目标边缘称为轮廓。 基于形状特征的检索方法有两种： (1)分割图像经过边缘提取后，得到目标的轮廓线，针对这种轮廓线进行形状特征检索(2)直接针对图形寻找适当的矢量特征用于检索算法 难点在于寻找能够检索与大小、方向及扭曲伸缩无关的方法。同时采用3个特征作为形状特征，即长短轴比、周长面积比、最近与最远点的连线间的夹角。 2024年年7月月22日日33336.4.3 基于纹理特征的检索 习惯上把图像中局部不规则而整体有规律的特性称之为纹理。纹理特征主要有粗糙性、方向性和对比度等。 纹理分析方法可分为两类:(1)统计方法用于分析像木纹、沙地、草坪等细致而不规则的物体(2)结构方法适于像布料的印刷图案或砖瓦等一类元素组成的纹理及排列比较规则的图案 纹理颜色也作为一个检索特征,逐步逼近 ,以小图像的形式全部显示给用户 2024年年7月月22日日34346.4.4 基于视频内容的检索 基于内容的视频检索系统(CBVRS)包含以下两个模块：(1)视频数据库生成模块完成视频源数据的生成、视频数据的预处理及视频特征库的生成等 (2)视频查询和检索模块该模块将根据需要完成用户指定的查询和检索任务视频本身的层次化结构则要求视频检索必须层次化进行例如：用户检索镜头、视频段、某些图像帧，就对检索提出了层次化的要求 2024年年7月月22日日35356.5 基于音频内容的检索 音频可以分为三种类型:(1)波形声音(2)语音 (3)音乐 处理方法可以分为相应的三种第一种是利用自动语音识别技术，处理包含语音的音频后两种是利用更一般性的音频分析处理 2024年年7月月22日日36366.5.1 基于语音技术的检索 基于语音技术的检索是利用语音处理技术检索音频信息 (1)基于关键词检索 (2)基于子词单元检索 利用子词(SubWord)索引单元，用户的查询首先被分解为子词单元 (3)利用大词汇语音识别技术检索 利用自动语音识别(ASR)技术把语音转换为文本，从而可以采用文本检索方法进行检索 4)基于说话人的辨认分割 简单地辨别出说话人话音的差别，而不是识别出说的是什么 例如，分割和分析会议录音 2024年年7月月22日日37376.5.2 音频检索 音频检索是以波形声音为对象的检索，统一用声学特征来检索，采用的是更一般性的声学特性分析方法 (1)听觉检索 例如，按时间片计算一组听觉感知特征：基音、响度、音调等，最终的特征矢量将是这些特征的统计值 (2)声音训练和分类通过训练来形成一个声音类 (3)音频分割 例如对电台综艺节目进行分割，分割出语音、静音、音乐、广告声和音乐背景上的语音等通过信号的声学分析并查找声音的转变点就可以实现音频的分割 2024年年7月月22日日38386.5.3 音乐检索 利用音乐的音符和旋律等音乐特性来检索 音乐检索利用的是诸如节奏、音符、乐器特征 时间结构的分析是基于振幅统计，得到现代音乐中的拍子。频谱分析获得音乐和声的基本频率，可以用这些基本频率进行音乐检索 2024年年7月月22日日39396.6 基于内容检索的系统实例 2024年年7月月22日日4040自学本章总结多媒体数据库的实现途径有从关系数据模型发展多媒体数据库、利用面向对象技术实现多媒体数据库和利用分布式超媒体数据库发展多媒体数据库三种。 最简单的是利用关系数据库模型，与当前的数据库应用兼容，其关键是如何处理无格式的数据面向对象数据模型语义丰富，描述能力强，并且可扩充，是构造多媒体数据库的一种比较适宜的手段 分布式超媒体数据库系统是一种以超媒体信息管理技术为基础的分布式系统 ，向用户提供良好的人机交互方式 2024年年7月月22日日4141本章总结多媒体信息的查询和检索有两大类：l基于表示的l基于内容的 基于内容的检索是指根据媒体和媒体对象的内容语义及上下文联系进行检索。分为基于图像内容的检索和基于音频内容的检索 。习题：1.简述多媒体数据库的几种实现方法。 2.基于内容的检索有哪些特点? 2024年年7月月22日日4242The End