多媒体基础知识Stillwatersrundeep.流静水深流静水深,人静心深人静心深Wherethereislife,thereishope。有生命必有希望。有生命必有希望主要内容主要内容n第一节第一节 音频信号的处理音频信号的处理n第二节第二节 图像处理软件应用图像处理软件应用n第三节第三节 动画制作基础动画制作基础n第四节第四节 视频信息的处理视频信息的处理8/17/20242第一节第一节 音频信号的处理音频信号的处理1 . Wave1 . Wave音频文件音频文件 2 . MIDI2 . MIDI合成音乐合成音乐 3 . 3 . 音频处理音频处理 4 . 4 . 音频数据压缩音频数据压缩 5 . 5 . 语音合成与识别语音合成与识别8/17/20243n n多媒体计算机中产生声音的方式多媒体计算机中产生声音的方式n外部声音源录制和重放：外部声音源录制和重放：Wave音频音频nMIDI音乐音乐： MIDI音频音频nCD-Audio ：CD音频音频音频信号的处理音频信号的处理8/17/20244Wave音频文件音频文件一、波形音频特征一、波形音频特征( (三个参数三个参数) ) 麦克风麦克风/录音机录音机/CD激光唱盘激光唱盘声卡声卡A/D转换转换(采样、量化采样、量化)声卡声卡D/A转换转换混音器混合后由混音器混合后由扬声器输出扬声器输出计算机存储计算机存储采样频率采样频率量化位数量化位数声道数声道数8/17/20245n采样频率：每秒从模拟声波中采集声音样本的个数。采样频率：每秒从模拟声波中采集声音样本的个数。 频率越高，采集的样本数越多，声音质量越好，占用频率越高，采集的样本数越多，声音质量越好，占用存储空间越大。存储空间越大。n人耳感受范围：人耳感受范围：0 020kHz20kHz 一般采用：一般采用：11.025kHz11.025kHz、22.05kHz22.05kHz、44.1kHz44.1kHz 波形音频三个参数波形音频三个参数n对原始声波采样对原始声波采样n采样后得到的数据采样后得到的数据8/17/20246n量化位数：将采样数据按大小存储的过程。量化位数：将采样数据按大小存储的过程。 一般有一般有8 8、1616、3232位等，量化位数越大，声音的幅度分辨位等，量化位数越大，声音的幅度分辨率越高，还原时声音的品质越好，声音数据占用的存储空率越高，还原时声音的品质越好，声音数据占用的存储空间越大间越大波形音频三个参数波形音频三个参数8/17/20247n声道数：数字音频声音质量的另一个因素。声道数：数字音频声音质量的另一个因素。 一般有单声道一般有单声道 、双声道、多声道、双声道、多声道n存储量计算：存储量计算：采样频率采样频率量化位数量化位数声道数声道数时间时间8 (8 (字节字节) )举例：举例：采样频率采样频率44.1kHz44.1kHz，1616位量化，双声道，一分钟的位量化，双声道，一分钟的音频所需要的存储量为：音频所需要的存储量为：44.1100016260/8=1058400044.1100016260/8=10584000（字节）（字节）波形音频三个参数波形音频三个参数8/17/20248二、二、Wave音频文件音频文件 n标准数字音频，扩展名是标准数字音频，扩展名是.WAV .WAV n多数声卡能以多数声卡能以1616位、位、44.1kHz44.1kHz采样率录采样率录制和播放制和播放 n主要缺点：产生的文件太大，不适合主要缺点：产生的文件太大，不适合长时间记录长时间记录 n压缩方法：从压缩方法：从PCM(PCM(均匀量化均匀量化) )到到ADPCMADPCM( (自适应差分量化）自适应差分量化）8/17/20249三、三、Wave音频文件的制作工具音频文件的制作工具录音机录音机nWaveWave文件录制、播放和进行一些简单处理的基文件录制、播放和进行一些简单处理的基本工具本工具n播放音频文件时显示正在播放的声音波形播放音频文件时显示正在播放的声音波形n从从“效果效果”菜单可进行加快、放慢声音速度，菜单可进行加快、放慢声音速度，加入回声等特殊效果，反向播放，将声音重新加入回声等特殊效果，反向播放，将声音重新组合等组合等 处理处理n“文件文件 / / 属性属性”命令打开命令打开“声音属性声音属性”对话对话框可以了解框可以了解WaveWave文件数字声音指标文件数字声音指标8/17/202410MIDI合成音乐合成音乐MIDIMIDI（Musical Instrument Digital InterfaceMusical Instrument Digital Interface）nMIDIMIDI是乐器数字接口的缩写，文件扩展名是是乐器数字接口的缩写，文件扩展名是 .MID .MID nMIDIMIDI文件的内容是能使文件的内容是能使合成音乐芯片合成音乐芯片演奏乐演奏乐曲的代码曲的代码n多媒体多媒体PCPC平台能够通过内部合成器或连接到平台能够通过内部合成器或连接到计算机计算机MIDIMIDI端口的外部合成器播放端口的外部合成器播放MIDIMIDI文件文件 8/17/202411MIDI合成音乐合成音乐 产生：产生： 合成器：合成器：电子乐器演奏时的电子乐器演奏时的指令信息指令信息声卡声卡Midi控制器控制器声卡声卡合成器合成器混音器混合后由混音器混合后由扬声器输出扬声器输出计算机存储计算机存储FM合成器合成器波表合成器波表合成器8/17/202412一、合成器一、合成器n利用利用DSPDSP或其他芯片产生音乐或声音的电子装置或其他芯片产生音乐或声音的电子装置n FM FM合成器合成器n采用频率调制的原理产生声音采用频率调制的原理产生声音 nFMFM合成器能发出合成器能发出128128种乐器的声音种乐器的声音 n波表合成器波表合成器n对真实乐器声采样，制波表保存，由对真实乐器声采样，制波表保存，由DSPDSP查表调用处查表调用处理理n声音效果与真实的乐器声几乎无差别声音效果与真实的乐器声几乎无差别n声卡带有波形表声卡带有波形表ROMROM的接口的接口 或或 本身带有波形表本身带有波形表ROMROMn ROM ROM的容量越大，可存储的乐器音就越多的容量越大，可存储的乐器音就越多8/17/202413二、二、MIDI音乐产生原理音乐产生原理nMIDIMIDI标准：规定了电子乐器与计算机连接的电缆、标准：规定了电子乐器与计算机连接的电缆、硬件标准和通信协议硬件标准和通信协议n乐谱的数字描述（乐谱的数字描述（MIDIMIDI指令信息）指令信息） n由音符序列、定时和多达由音符序列、定时和多达1616个通道的演奏音符个通道的演奏音符定义组成定义组成n演奏音符定义由键号、通道号、音长、音量和演奏音符定义由键号、通道号、音长、音量和力度组成力度组成n建立建立MIDIMIDI文件：设备演奏时输入或软件编辑产生文件：设备演奏时输入或软件编辑产生nMIDIMIDI文件特点：是一系列指令不是波形，文件小文件特点：是一系列指令不是波形，文件小 nMIDIMIDI设备端口设备端口 ：MIDI InMIDI In、MIDI OutMIDI Out、MIDI Thru MIDI Thru 媒体播放器可直接播放媒体播放器可直接播放8/17/202414音频处理音频处理 n声音处理软件声音处理软件WindowsWindows录音机录音机Ulead AudioEditorUlead AudioEditorCreativeCreative的录音大师的录音大师CakeWalkCakeWalk等等n声音处理内容声音处理内容录音与保存录音与保存剪辑剪辑去除杂音去除杂音混音混音合成等合成等 8/17/202415一、使用一、使用Windows录音机录音与保存录音机录音与保存n n录音录音录音录音n设置录音状态：设置录音状态：“音量控制音量控制| |选项选项| |属性属性”n录音：录音：RecordRecord按钮按钮 录制录制 默认录音长度不超过默认录音长度不超过6060秒秒 n录音结束：录音结束：StopStop按钮按钮n n保存保存保存保存n“文件文件| | 另存为另存为”命令命令 n“更改更改”：设置声音文件格式和属性：设置声音文件格式和属性8/17/202416二、使用二、使用Windows录音机处理音频录音机处理音频1、定位编辑点、定位编辑点n打开需要处理的波形文件打开需要处理的波形文件n移动移动滑块到要编辑的位置滑块到要编辑的位置将滑块移到要编将滑块移到要编辑信息的位置辑信息的位置8/17/202417二、使用二、使用Windows录音机处理音频录音机处理音频2. 更改声音效果更改声音效果n效果：效果：n音量：加大音量、降低音量音量：加大音量、降低音量n放音速度：加速、减速放音速度：加速、减速n特殊效果：添加回音、反转特殊效果：添加回音、反转8/17/202418二、使用二、使用Windows录音机处理音频录音机处理音频3. 编辑编辑 n插入文件插入文件n与文件混音与文件混音n删除删除8/17/202419音频数据压缩音频数据压缩 在数据压缩时，要综合考虑在数据压缩时，要综合考虑声音质量、数据率、计算量声音质量、数据率、计算量三个方面三个方面 8/17/202420一、基本压缩原理一、基本压缩原理( ( ( (CCITTCCITT提出的语音压缩编码建议提出的语音压缩编码建议) )n音频编码方法音频编码方法n波形编码：基于音频数据的统计特性波形编码：基于音频数据的统计特性n参数编码：基于音频的声学参数参数编码：基于音频的声学参数 n混合编码：上述两种结合混合编码：上述两种结合nMPEGMPEG编码：基于人的听觉特性编码：基于人的听觉特性 n压缩方法压缩方法n无损压缩：霍夫曼编码、游程长度编码无损压缩：霍夫曼编码、游程长度编码 n有损压缩：有损压缩： CCITT CCITT编码、编码、MPEGMPEG编码编码8/17/202421二、二、MP3音乐音乐MPEG layer3的应用的应用nMPEGMPEG音频压缩标准：音频压缩标准：三层、算法复杂性随层增大、分级兼容三层、算法复杂性随层增大、分级兼容 MPEG音频标准音频标准压缩比压缩比数据质量数据质量KbpsMPEG layer 14:1384MPEG layer 26:18:1192256MPEG layer 310:112:1112128MPEGMPEG音频的压缩比与数据质量音频的压缩比与数据质量8/17/202422二、二、MP3音乐音乐MPEG layer3的应用的应用n特征：特征：音质接近音质接近CDCD、文件大小仅、文件大小仅1/12 1/12 MP3MP3的音质取决于还原技术、音响系统以及的音质取决于还原技术、音响系统以及听者的主观感觉听者的主观感觉 n原理：原理：-先进的编码技术先进的编码技术-利用人耳特点缩减数据利用人耳特点缩减数据( (删除高于删除高于15KHz15KHz的高频的高频声音声音) )8/17/202423声音文件的格式声音文件的格式1.1. WAVWAV格式：格式：WindowsWindows标准波形文件，多标准波形文件，多数音频编辑软件支持，文件较大。数音频编辑软件支持，文件较大。2.2. MP3MP3格式格式：高压缩比，文件较小，音质：高压缩比，文件较小，音质接近接近CDCD。3.3. MIDIMIDI文件文件：存储指令，文件短小，播：存储指令，文件短小，播放效果因软硬件而异。放效果因软硬件而异。8/17/202424声音文件的格式声音文件的格式4.4. CDCD格式格式：音质最好的数字音频格式，：音质最好的数字音频格式，CDACDA文件只含索引信息。文件只含索引信息。5.5. RealAudioRealAudio格式格式：适用网上在线音乐欣：适用网上在线音乐欣赏，可随带宽不同改变音质。赏，可随带宽不同改变音质。6.6. WMAWMA格式格式：音质强于：音质强于MP3MP3，内置版权保，内置版权保护技术，支持音频流技术。护技术，支持音频流技术。8/17/202425语音合成与识别语音合成与识别 n语音合成技术语音合成技术-赋计算机赋计算机“讲话讲话”能力能力-用语音输出结果用语音输出结果 n语音识别技术语音识别技术 n使计算机具有使计算机具有“听懂听懂”语音的能语音的能力力 n用语音替代键盘输入用语音替代键盘输入8/17/202426语音合成与识别语音合成与识别 一、语音合成技术一、语音合成技术n方法：语音合成方法、参数合成方法方法：语音合成方法、参数合成方法 n目标：可懂、清晰、自然、具有表现力目标：可懂、清晰、自然、具有表现力 n应用：文语转换（应用：文语转换（TTSTTS）二、语音识别技术二、语音识别技术 nViaVoiceViaVoice中文连续语音识别系统中文连续语音识别系统输入速度：输入速度：150150汉字汉字/ /分分识别率：识别率：95%95%n发展方向：发展方向：n自然话语识别与理解自然话语识别与理解n解决语音识别中的一系列难题解决语音识别中的一系列难题8/17/202427一、一、 06 06版实验指导版实验指导 实验七实验七二、录音机操作（补充）二、录音机操作（补充）1 1、打开声音文件、打开声音文件ringin.wav, ringin.wav, 在在0.320.32秒处插入文件秒处插入文件tada.wav, tada.wav, 并加速。将文件以格式并加速。将文件以格式“PCM 22,050KHZ,8PCM 22,050KHZ,8位位, ,立体声立体声,43kb/s,43kb/s”保存为保存为M4.WAVM4.WAV。2 2、打开声音文件、打开声音文件tada.wavtada.wav，将，将0.320.32秒以前的内容删除秒以前的内容删除, ,并混并混入入ringout.wav, ringout.wav, 再添加回音效果再添加回音效果, ,将文件以格式将文件以格式“Microsoft ADPCM 11,025KHZ, 4Microsoft ADPCM 11,025KHZ, 4位位, ,立体声立体声,11kb/s,11kb/s”保存为保存为M8.WAVM8.WAV。（在（在C C盘查找所需文件）盘查找所需文件）上机实践上机实践上机实践上机实践实验内容：实验内容：8/17/202428