第六章 多媒体技术及其应用问题的提出：现代人为什么喜欢计算机？喜欢不断推出的新手机？计算机是如何处理文本、图形/图像、视频和音频等媒体的？学习目的和要求：学习目的和要求：掌握多媒体技术概述掌握多媒体技术概述理解信号处理的一般原理理解信号处理的一般原理了解多媒体系统的组成及应用了解多媒体系统的组成及应用熟悉常用的多媒体技术熟悉常用的多媒体技术了解多媒体技术的应用了解多媒体技术的应用 6.1 多媒体技术概述多媒体技术概述多媒体技术：多媒体技术：多媒体技术就是把声、图、文、视频等媒体通过计算机集成在一起的技术。即通过计算机把文本、图形、图像、声音、动画和视频等多种媒体综合起来，使之建立起逻辑连接，并对它们进行采样量化、编码压缩、编辑修改、存储传输和重建显示等处理 多媒体技术具有以下几项特性： （1） 信息媒体的多样化和媒体处理方式的多样化。 （2） 集成性。 （3） 交互性。 （4） 实时性。 多媒体（多媒体（Multimedia）（1）表示媒体(Reprception Medium)：指的是计算机内部表示信息的方法，一般以编码的形式描述，如说明交换信息的类型，定义信息的特征，如声音编码、图像编码、文本编码等。常见的有以下类型：用ASCII、EBCDIC和Unicode编码表示文本字符。用CEPT或CAPTAIN视频文本标准或GKS图形标准编码表示图形.用脉码调制方法PCM和16位线形量化技术表示视频数据流。用传真编码、BMP或JPEG格式等表示图像编码。用PAL、SECAM、NTSC等电视标准格式表示一段连续的音频/视频，或用MPEG格式将信息存储在计算机中。(2) 感知媒体（Perception Medium）：表示人对外界的感觉，如声音、图像、文字、动画等。感知媒体可以帮助人们理解自身周围的环境，通常人们可以通过视觉、听觉、嗅觉和触觉来感知周围的信息。就目前的技术而言，计算机主要是通过视觉、听觉来感知信息，也许将来还可以以其他形式来感知信息。（3）存储媒体（Storage Medium）：存储数据的物理设备，如磁盘、磁带、光盘、内存等。（4）传输媒体(Transmission Medium)：传输数据的物理设备，如电缆、光纤、无线电波等。（5）显示媒体（Preseatation Mediuw）：获取和显示信息的设备，如显示器、打印机、音箱等输出设备，也包括键盘、鼠标、摄像机等输入设备。各类文字和符号各类文字和符号各类文字和符号各类文字和符号文字和文字和文字和文字和符号符号符号符号多媒体多媒体 多媒体 多媒体1,2,3,4通过计算而描述的矢量图形通过计算而描述的矢量图形文字文字文字文字图形图形图形图形矢量图形对象矢量图形对象矢量图形对象矢量图形对象 用像素点描述的自然影像用像素点描述的自然影像用像素点描述的自然影像用像素点描述的自然影像文字文字文字文字图形图形图形图形图像图像图像图像位图图像对象位图图像对象位图图像对象位图图像对象 单画面矢量动画和多画面帧动画单画面矢量动画和多画面帧动画单画面矢量动画和多画面帧动画单画面矢量动画和多画面帧动画文字文字文字文字图形图形图形图形图像图像图像图像动画动画动画动画多画面帧动画多画面帧动画多画面帧动画多画面帧动画单画面矢量动画单画面矢量动画单画面矢量动画单画面矢量动画FRAMEFRAME 01 01 FRAME FRAME 02 02 FRAME FRAME 0303 FRAME FRAME 04 04 FRAME FRAME 0505 FRAME FRAME 06 06 FRAME FRAME 0707动画对象动画对象 音频数字信号、压缩音频信号音频数字信号、压缩音频信号音频数字信号、压缩音频信号音频数字信号、压缩音频信号文字文字文字文字图形图形图形图形图像图像图像图像动画动画动画动画音频音频音频音频 midimidi音频音频音频音频 wavwav音频音频音频音频 mp3mp3压缩音频压缩音频压缩音频压缩音频音频对象音频对象音频对象音频对象 视频数字信号视频数字信号视频数字信号视频数字信号AVIAVI、压缩视频信号压缩视频信号压缩视频信号压缩视频信号MPGMPG文字文字文字文字图形图形图形图形图像图像图像图像动画动画动画动画音频音频音频音频视频视频视频视频音频音频音频音频 + + 视频视频视频视频Audio Audio VedioVedio Information Information视频对象视频对象视频对象视频对象 ENDEND 6.1.3多媒体技术的特点多媒体技术的特点 (1) (1) 集成性集成性 多媒体的集成性主要表现在在两个方面，一方面是信息媒体的集成，多媒体的集成性主要表现在在两个方面，一方面是信息媒体的集成，即将各种不同的媒体信息有机地同步，集成为一个完整、协调的多媒体信即将各种不同的媒体信息有机地同步，集成为一个完整、协调的多媒体信息；另一方面是各种不同的显示或表现媒体设备的集成。息；另一方面是各种不同的显示或表现媒体设备的集成。 (2) (2) 多样性多样性 信息媒体的多样性是指计算机能处理多种信息媒体，也就是能对不同信息媒体的多样性是指计算机能处理多种信息媒体，也就是能对不同的输入信息可以经过加工、变换或处理输出新的信息，而不是简单的记录的输入信息可以经过加工、变换或处理输出新的信息，而不是简单的记录和重放。和重放。 (3)(3)交互性交互性 多媒体计算机除了可以播放各种媒体信息外，还可以与使用者进行信多媒体计算机除了可以播放各种媒体信息外，还可以与使用者进行信息交换。息交换。 (4)(4)实时性实时性 多媒体技术还表现在信息处理的实时性。如在多媒体系统中，由于声音多媒体技术还表现在信息处理的实时性。如在多媒体系统中，由于声音和活动视频图像与时间密切相关，所以要求多媒体技术必须支持对这些媒和活动视频图像与时间密切相关，所以要求多媒体技术必须支持对这些媒体的实时同步处理，使声音和图像在播放时不出现停滞。体的实时同步处理，使声音和图像在播放时不出现停滞。多媒体的两层含义：第一是指可用于信息存储、传输的物理实体；第二是指可用于信息表现的形式和载体。多媒体系统的主要特征多媒体系统的主要特征 媒体的多样性媒体的多样性 随着现代通信技术和计算机技术的发展，用户能够比以随着现代通信技术和计算机技术的发展，用户能够比以往任何时候都更加和谐地把现有的文本、声音、图形、往任何时候都更加和谐地把现有的文本、声音、图形、图像、动画和视频等多种形式的信息媒体有机的组合起图像、动画和视频等多种形式的信息媒体有机的组合起来。来。 技术的集成性技术的集成性 多媒体技术包含了计算机领域内较新的软、硬件技术，多媒体技术包含了计算机领域内较新的软、硬件技术，并将不同性质的设备和信息集成为一体，实现了以计算并将不同性质的设备和信息集成为一体，实现了以计算机为中心的综合信息处理，大大地扩展了计算机的功能。机为中心的综合信息处理，大大地扩展了计算机的功能。 处理过程的交互性处理过程的交互性 多媒体系统的明显的特点就是它处理信息过程的交互性，多媒体系统的明显的特点就是它处理信息过程的交互性，这使得计算机与用户之间建立了良好的互动性，使得人这使得计算机与用户之间建立了良好的互动性，使得人们对信息的处理更加主动和灵活，极大地激发了人的创们对信息的处理更加主动和灵活，极大地激发了人的创造性。造性。多媒体计算机技术多媒体计算机技术:多媒体计算机技术就指利用计算机技术来综合、集成处理文字、声音、图形/图像、动画、视频等，从而可以在一台计算机上实现多媒体的综合处理，并与计算机网络传输一起形成一种全新的信息传播和处理的计算机技术。其基本特征就是媒体表示的数字化技术。多媒体计算机系统：多媒体计算机系统：具有多媒体功能的计算机应用系统称之为多媒体计算机系统。它是一个以多媒体计算机为核心的包括多媒体终端设备、多媒体传输系统（网络、卫星、微波等），多媒体服务系统、多媒体软件及有关多媒体数据库组成的一个有机整体。 多媒体中的关键技术多媒体中的关键技术数据压缩和还原编码技术数据压缩和还原编码技术大容量的存储技术大容量的存储技术超大规模集成电路技术超大规模集成电路技术多媒体计算机软件核心技术多媒体计算机软件核心技术媒体同步技术。媒体同步技术。 多媒体网络技术。多媒体网络技术。 6.2 信号处理的一般原理简述信号处理的一般原理简述奈奎斯特（奈奎斯特（Nyquist）采样定理：）采样定理：奈奎斯特（Nyquist）总结得到了采样定理，也称采样定理：采样频率必须大于模拟信号的最高频率的2倍，才能重建原信号。 预处理 采 样 保 持模 / 数（A/D）数字信号处理、存储模拟信号输 入采样数字信号输 出计算机对音频信号的处理计算机对音频信号的处理采样采样(AD)计算机对图像和视频的存储处理(1)计算机对图像和视频的存储处理计算机对图像和视频的存储处理(2)计算机对图像和视频的存储处理(3)视频的表示：视频是图像（帧）在时间上的表示帧帧1000001010100011多媒体系统的组成及应用多媒体系统的组成及应用 多媒体硬件系统多媒体硬件系统 多媒体硬件系统是指支持多媒体信息交互处理所需的硬件设备。在一般的微机基础上随着硬件技术的发展和性价比的提高，价格的降低，我们可以配置功能强大的多媒体设备。购买时要注意CPU的频率、内存空间、声卡和显示卡等器件的综合性能；在主板方面要注意考察其芯片和各种多媒体技术接口；显示器除了尺寸外观外，更重要的是分辨率；为了实现各种图形/图像转换成计算机个识别的数据一般还要配置扫描仪等外设。多媒体操作系统（多媒体操作系统（MPCOS） 这里主要是指多媒体操作系统（MPCOS）。多媒体操作系统应有以下功能：一是要适应多媒体的一切，除能处理文字、图形外，还能处理动态画面文件、音频文件和视频文件；二是除能控制普通计算机外设外，还要能控制管理声音和图像的输入，输出和存储设备，如录音机、摄像机、数字照相机、录像机、VCD、DVD、音响设备等。实际上，现在的windows2000/ xp等操作系统已经有很强的多媒体功能了。当然还可以根本个人自己的兴趣再配一些专用的多媒体工具软件，如3DMX作图软件、抓图、看图软件以及有带编辑功能的高级创作软件等。媒体种类常见格式 说 明文本 TXTRTFDOC文本是表达信息最快捷的方式，经常用于表示多媒体节目中的内容、目录、导航和帮助信息。文本文件要求字体清晰易读，格式、颜色搭配和谐。图像 DIBBMPWMFTIF 图像用于多媒体的界面设计，表达文本无法或很难表达的内容，如用照片、图像来说明一目了然，图像可以通过扫描仪扫描或用作图软件自己产生，最后按需要的文件格式存盘。声音 WAVMIDVOC 声音为多媒体表现节目提供背景音乐，同步解说和声音效果。视频 AVIAVSMPG提供电视、电影的真实效果。信息量大，可以表达文本图像无法表示的效果。动画 FLCFLISWF 可以用于突出节目的要点，进行动画、卡通制作，游戏制作，增强趣味性，吸引力、显示关键点等。表61 多媒体文件类型 表62 多媒体创作工具 对 象 创 作 工 具 图 像 处 理 Photoshop 、Director、CorelDRAW音 乐 处 理 Cakewalk 演 视 文 稿 处 理 PowerPoint动 画 制 作 3D Studio MAX视 频 图 像 处 理 Premiere多 媒 体 图 文 制 作 Authorware 文 字 处 理 Word 表62 多媒体创作工具 多媒体计算机技术的应用多媒体计算机技术的应用在教育方面的应用在商业方面的应用：商业广告设计，产品的演示说明等等。电子出版家庭娱乐视频会议军事航空航天多媒体技术初步能力的培养多媒体技术初步能力的培养图形图形/图像处理技术图像处理技术音频信号处理技术音频信号处理技术数据压缩技术数据压缩技术多媒体数据压缩的方法多媒体数据压缩的方法静态图像压缩编码的国际标准（静态图像压缩编码的国际标准（Joint Photogrphic Experts Group,简记为简记为JPEG） 运动图像压缩编码的国际标准运动图像压缩编码的国际标准MPEG-I视频压缩技术。视频压缩技术。MPEG-标准。标准。MPEG-标准。标准。MPEG-标准。标准。 音频压缩编码的国际标准音频压缩编码的国际标准多媒体应用中常用的音频压缩标准是MPEG-I中的音频压缩算法。它是一个高保真音频数据压缩的国际标准。该标准提供用户三个独立的压缩层次选择：(1)第一层，主要用于数字录像机，压缩后的数据速率为每通道为384kbps。(2)第二层，主要用于数字广播的音频编码、CD-ROM上的音频信号以及VCD 的以及音频编码压缩,压缩后的数据速率为每通道256192kbps。(3)第三层，它是音质最差,压缩后的数据速率为每通道128112kbps.本章任务：1、查阅资料：请你通过互联网或者书籍文献查找“多媒体、流媒体”相关内容。2、思考题：P1481-6、思考题：谈谈你对多媒体技术发展方向的看法。 3、撰写小论文：媒体技术与现代生活的关系。本章任务：4、补充:计算1).用22.05kHz采样频率录制30秒的声音,用8位量化,试计算需多少字节B来存储这段录音?2).试计算一张300万的象素的灰度照片,用8位量化,需多少MB的存储空间来存储它?