多媒体通信技术多媒体通信技术主讲教师：黄玉兰 学时：16第一章 多媒体通信技术概述第二章 音频技术基础第三章 图像技术基础第四章 视频信息压缩与处理 第五章 多媒体通信系统中的关键技术 第六章 多媒体通信网络技术 第七章 多媒体数据的分布式处理 第八章 多媒体通信应用系统 本书章节5.1 多媒体信息输入输出技术5.2 超媒体技术 5.3 多媒体同步技术 本章主要内容第五章 多媒体通信系统中的关键技术多媒体技术的发展离不开相关技术的支 持，如媒体输入输出技术、超媒体技术、网络 同步技术、数据存储技术等。下面我们就这些 在多媒体技术的发展过程中起重要作用的关键 技术逐一进行介绍。5.1 多媒体信息输入输出及存储技术多 媒体计算机所涉及的输入输出技术包括视频图像技术、音 频技术、语音技术、图像图形技术和文本技术等。在多媒 体计算机系统中，支持系统输入输出的功能是由一些具有 特定功能的功能卡来实现的。有一些功能卡是专门支持多 媒体信息的采集与处理的，如视频卡、音频卡、 VGA(Video Graphics Array即视频图形阵列）与TV转换 卡、图形加速卡、SCSI(Small Computer System Interface小型计算机系统接口 )接口卡、光盘接口卡等。 多媒体计算机通过这些功能卡完成与各种外部设备的连接 ，从而形成一个制作和播放多媒体应用的工作环境。5.1 多媒体信息输入输出及存储技术5.1.1 视频信息输入输出技术计 算机只能处理数字图像信息，而现有的视频源都还只是模 拟图像信息，因此需要先将模拟图像信息转变为数字图像 信息。此外，计算机对图像进行相关的处理之后，在进行 显示的时候也必须要将数字图像转换成模拟图像信息，因 此就需要一个视频转换卡来完成相应的功能。当前用于多媒体计算机的视频卡主要有以下几类：电视接收卡、视频转换/捕捉卡、视频编码卡、MPEG卡等 。1、视频卡的基本工作原理视频采集、显示播放是通过视频卡、播放 软件、 显示设备来实现的。视频卡是基于PC机的一种多 媒体视 频信号处理平台，它具有多个不同视频接口，分 别对应 录像机（VCR）、影碟机、摄像机（Camera）等 视频 源，可以通过相应的视频软件来选择所需的视频 源， 经过编辑或特技处理而产生非常漂亮的画面。这 些画面 还可以被捕捉、数字化、冻结、存储、输出及进 行其他 的操作。对画面的修整、像素显示调整、缩放功 能等都 是视频卡支持的标准功能。多媒体视频卡除了可 以实现 视频信号数字化、捕捉特定镜头外，还可以在 VGA上开 窗口并与VGA信号叠加显示。视频卡的基本工作原理可以用下面框图来说明。图中的选择视频源完成对相应视频源的选择。 ADC完成视频解码，主要是模拟图像信号至数字图像 信号的转换和解码。 视频处理芯片是用于视频信号的捕获、播放和显示 的专用控制芯片，可以完成视频输入信号的裁减、比例 变化、VGA同步、色键控制、PC总线接口和对帧存储器的 操作。 视频处理器输出的是经过处理的RGB信号，与VGA显 示卡输出的RGB信号是完全同步的，通过某种方法完成两 路信号的叠加。 视频随机访问存储器（VRAM）是专门为视频显示设 计的存储器，可提供两个端口的同步读写能力，比一般 的DRAM方式快得多。 DAC主要完成数模转换，将叠加的信号转换成模拟信 号，最后在显示器中进行显示。2、常用视频卡 目前 ，视频卡根据不同的用途可以分为很多种，如视频 接收卡、视频转换/捕获卡、MPEG卡等。（1）视频接收卡视频 接收卡也称为电视接收卡，其主要功能有两项：接 收电视台发送的电视信号；将模拟电视信号数字化后叠加显示 在VGA的RGB信号中，并转换成显示器可接收的模拟信号输 出到显示器进行显示。电视接收卡的功能框图如下图所示。图5-2 电视接收卡功能（2）视频转换/捕获卡 视频 转换卡完成计算机视频信号和电视视频信号间的转 换。一般分为两类：一类完成由计算机的VGA信号到各种标准制式的电视信号 的转换并在电视机上播放或进行录像，这类卡也被称作PC TV卡或VGATV卡；另一类完成将标准的各种制式电视信号转换成在计算机屏 幕上显示的VGA信号，此类卡也叫做TVVGA卡。它带一个 高频头，可将计算机变成一台电视机，收看不同频道的电视节 目。 视频 捕获卡的主要功能是从视频图像信息中实时或非实 时地捕获静态或短时间的动态视频图像。捕捉后的视频图像信 息以AVI（Audio Video Interleaved）格式存储在计算机硬 盘上。图5-3 视频转换/捕捉卡工作原理（3）MPEG卡MPE G卡分为压缩卡和解压卡两类。MPE G压缩卡一般为专业人士使用，可以对静止和动态 图像按照相应的标准进行实时和非实时的压缩和还原处理。MPEG解压缩卡也称为影碟卡，可以播放MPEG-1标准 压缩的数字影视片（如VCD）。 MPEG解压缩卡的主要功能 是把MPEG文件进行解压缩并恢复播放。其基本工作原理如图 5-4所示。视频卡主要向着 视频技术与影视技术的结合影视节目后期制作 视频技术与通信技术的结合多媒体视频会议、可视电话等 方向发展图5-4 MPEG解压缩卡工作原理3、摄像头随着宽带网络逐渐深入到人们的工作和生活中，利用 网络进行视频对话和可视电话的使用也越来越多。数字摄 像头作为数字摄像机的一个特殊分支，在网络视频应用中 正发挥着越来越重要的作用。摄像头分为模拟摄像头和数字摄像头两类。 模拟摄像 头获得的模拟视频信号必须经过计算机的视频卡 进行数字 化转换，并经过压缩后才可以送入计算机进行处 理，数字 摄像头也称为网络摄像头，可以直接捕捉视频图 像，然后 通过USB或IEEE1394高速接口输入到计算机，而 不再需要 视频卡。摄像头的基本工作原理：摄像头的基本工作原理：外界景物通过摄像头的镜头（透镜）生成光学图像，再 投射到图像传感器表面转换为模拟电信号，经过A/D变换转换 为数字图像信号，送到数字处理芯片（DSP）进行加工处理， 再通过与计算机的接口传输到计算机中进行处理，最后，通过 显示器就可以看到图像了。摄像头的主要性能指标：（1）摄像器件：按照感光元件的不同，摄像器件可以分为 CCD（电磁耦合组件）和CMOS（金属氧化物半导体组件）两 类。这两类摄像器件在技术上有很大的差异，但性能的差别不 是很大。一般来说，CCD的成像质量较高，用于对影像要求较 高的场合，而CMOS用于对影像要求较低的应用场合。（2）像素分辨率：像素是影响数字摄像头成像质量的重要指 标，像素的大小关系着图像的分辨率。在早期的摄像头中所使 用的像素值一般只有10万左右，成像后的分辨率是352288 （CIF）。因其分辨率太低且性能不佳而遭市场淘汰。目前市 场上的主流产品的像素有30万像素（VGA，640480）和 130万像素（SXGA，12801024），成像质量也有了很大 提高。（3）颜色深度：大多数数字摄像头的颜色深度采用24位真彩 色，质量更好的甚至会采用30位的真彩色。采用的颜色深度越 大，所得到的图像色彩越丰富，细节也更加的清晰。摄像头的主要性能指标：（4）视频捕获速度：捕获速度也叫帧率，表示单位时间内图 像帧的显示速度，单位是帧/秒。视频捕获速度是摄像头对视 频图像捕获、处理和传输的能力，直接关系到动态图像的流畅 度。由于摄像头捕获的是运动图像，因此帧率对图像主观感受 影响较大。捕获速度一般是指摄像头采用最大分辨率时的流畅 度。通常所采用的摄像头的帧率在20帧/秒，高档摄像头的帧 率在30帧/秒。帧率太低会出现跳帧的现象。一般数字摄像头 视频捕获的最大分辨率为640480，若帧率要达到30帧/s， 宽带网的传输速率要达到10Mbit/s；（5）接口方式：早期的数字摄像头是接在计算机的并口上， 速率达到1Mbit/s，现在流行的数字摄像头都是接在计算机的 USB口上。USB速度快、连接简单、即插即用并提供外接电源 。 现在的数字摄像头功耗都很低，依靠USB提供电源即可工作。4、投影仪投影仪是目前使用较多的多媒体显示设备，在科研、教学 、演示、会议和监控等领域得到了广泛应用。投影机所使用 的技术分为三类：CRT投影机、LCD投影机和DLP投影机。CRT：阴极射线管，体积大，亮度低，对焦调整复杂。LCD：液晶显示，当今主流产品，体积小，亮度高，分辨 率高，色彩丰富。DLP：数字光处理器，显示的是数字图像信息，无噪声，画质稳定，色彩丰富细腻，是今后投影机发展方向 。投影机常用的技术指标：亮度：投影机的亮度常用ANSI流明来表示，播放环境对投影机的亮度表现 影响较大。目前，一般的LCD投影机的亮度都会达到500 ANSI流明.分辨率：分为物理分辨率和压缩分辨率。物理分辨率决定了显示图像的清 晰程度。灯泡寿命：用灯泡亮度降低为原来的一半时的使用时间来表示。使用寿命 至少2000小时以上。灯泡可以分为金属卤素灯(金属卤素灯泡的优点是价格便宜，缺点是半衰期短，一般使用1000小时左右亮 度就会降低到原先的一半左右。并且由于发热高，对投影机散热系统要求高，不宜做长时间（4小时以上）投影使用。) UHE（超高压汞灯泡）：uhe灯泡的优点是价格适中，在使用4000小时以前亮度几乎不 衰减。由于功耗低，习惯上被称为冷光源。uhe灯泡是目前中档投影机中广泛采用的理想光源 。 UHP（Ultra High Performance属于超高压汞灯泡）：uhp灯泡的优点是使用 寿命长，一般可以正常使用4000小时以上，并且亮度衰减很小。uhp灯泡也是一种理想的冷光 源，但由于价格较高，一般应用于高档投影机上。5.1.2 音频信息的输入输出技术在多 媒体计算机中，数字化音频信息是一种重要的媒体信息。音频 信息包括语音和音乐。音频信息的输入输出主要是由音频卡( 也叫声卡）来完成的。声卡或音频卡（audio card）是负责录音、播音和声 音合成的计算机硬件插卡，是计算机进行所有与声音相关处理 的硬件设备。 1、声卡的基本工作原理 声卡的结构如图5-5所示。 数字音频处理芯片和音乐合成器是声卡的核心器件。总线接口芯片为声卡的各个部分与计算机系统总线间 提供 握手信号，同时总线接口芯片还起到对指令和数据的 缓冲 器作用，完成声卡与计算机系统总线之间指令和数据 的传送。数字音频处理芯片完成各种音频信号的记录和播放任 务，处 理工作还包括ADPCM音频信号的压缩和解压缩、采样 频率改变、 MIDI指令解释等。音乐合成器负责MIDI的合成音效，可以即时创造声 音，将数 字音频的波形数据和MIDI信息合成为声音。一般声音的变化是用一些电压、电流这样的模拟信 号的变化 来反映的，而计算机只能处理数字信号，声卡中的 AD转换 器负责将接收的模拟信号转成数字信号供计算机处 理或将数 字化的音频信号转换为模拟信号送出去，驱动音箱 或耳机发 音。混音器将从话筒、线性输入、CD输入的不同途径声 音信号进行混合，还提供用软件控制音量的功能。图5-5 音频卡的工作原理2、音频卡的主要功能 录制和播放声音文件。声卡能将来自麦克风、收录机、激光 唱盘等的声源采样，在软件的帮助下以数字声音文件的形式存 放。在需要的时候，只要调出相应声音文件播放即可。此外， 声卡与CD-ROM驱动器相连，可以实现对CD唱盘的播放；对声音文件进行编辑和合成。可以给声音添加诸如淡入淡出 、 回声、音调变化等特效，这些对音乐爱好者都是非常有用的； 通过语音合成技术将计算机中储存的文本文件转换成可以听到 的语音，即让计算机来朗读文本；对数字声音文件进行压缩和解压缩，节省磁盘空间。直接通 过采样得到的波形声音文件都很大，这样会占据太多有用的磁 盘空间，需要用压缩编码的方法对这些文件压缩。有的声卡上 有固化的压缩算法，有的是向用户提供压缩软件； MIDI音乐录制和合成。MIDI接口是乐器接口的国际标准， MIDI规定了电子乐器与计算机之间相互进行数据通信的协议， 以保证双方有效的数据通信。通过