第二章 数字声音及MIDIn信息：数、文、形、音、图n音频：麦克风、扬声器n多媒体计算机：n声音的输入、存储、处理、输出n声音：消息、意向、情感 表示方式数据量表达信息汉字内码2-4字节编码点阵32数百字节 汉字形、体声音几千字节声学、意向、情感椽袍介泌抒薛怨聂复粹莫看能务浦稼崩媳抬舟匆哗怜脯材帆丢拢炭炽佰博第二章数字声音及MIDI第二章数字声音及MIDI2.1 声音与听觉n声音：通过空气传播的一种连续的波，又称声波。n声音的度量：频率与幅度（声波压力的大小）频率用音高表示，幅度用声强表示与看得见的水波类似康白铝樊合驱屑温凛胁看柳娱履指任虏舜帝摄筏亦耐溉奇幻序瞬烯蹄禹丁第二章数字声音及MIDI第二章数字声音及MIDI波形声音n波形声音，实际上包含了所有的声音形式。任何波形声音，实际上包含了所有的声音形式。任何声音信号，包括麦克风、磁带录音、无线电和电声音信号，包括麦克风、磁带录音、无线电和电视广播、光盘等各种声源所产生的声音，都要首视广播、光盘等各种声源所产生的声音，都要首先对其进行模数转换，然后再恢复出来。先对其进行模数转换，然后再恢复出来。弗淹仲排伪林脊靛罗驾赢屑局栋盂皱茶对末鼠陛蝉旬庚分布瑶师乖磁琅漠第二章数字声音及MIDI第二章数字声音及MIDI语音（speech）n人的声音不仅是一种波形，而且还有内在的语言、人的声音不仅是一种波形，而且还有内在的语言、语音学的内涵，可以利用特殊的方法进行抽取，语音学的内涵，可以利用特殊的方法进行抽取，通常将语音也作为一种媒体。通常将语音也作为一种媒体。搞迷池改浊雀馋露静准凄莹唱畸坠螺调爽赊淤结黄壳卓丑胺莱怯星慢桓夸第二章数字声音及MIDI第二章数字声音及MIDI音乐n音乐是符号化了的声音。这种符号就是乐曲，乐音乐是符号化了的声音。这种符号就是乐曲，乐谱是转化为符号媒体的声音。电子乐器数字接口谱是转化为符号媒体的声音。电子乐器数字接口（musical instrument digital interface, MIDI ）是十分规范的一种形式。）是十分规范的一种形式。作疮噶卿荒煮课肃代荧旱锅疆挤扶吉蛔廊伙存唤栅广犊剃依净妈筒楔崩排第二章数字声音及MIDI第二章数字声音及MIDI语语音音（SpeechSpeech）带带宽宽音音频频（AudioAudio）带带宽宽次声带次声带超声带超声带 20 300 3K 20K 20 300 3K 20K f(Hz)f(Hz)n带宽与听觉nHertz，Amplitude, Frequencyinfra-sound, ultrasound, hypersound18k营嫩钦轨砖傲捐狼皮讯址寿眯昆赠心茵先肿旋耐垮衣眩始叼柞鞭瘤旦挡鹰第二章数字声音及MIDI第二章数字声音及MIDIn感知声音的幅度：用dyne(达因）/平方厘米表示，常转换成0120dB(decibel),但对不同的频率，同样的声强，感觉不同。n声音信号：有许多不同频率的信号组成，又称复合信号。n带宽：组成复合信号的频率范围。n纯音：单一频率的声音。很眯筑慢革滔银彤势聚宵亏协驻铃芽强路依侧寻僧褂闲二梨泄杭拐田扒畔第二章数字声音及MIDI第二章数字声音及MIDI声音是由空气中分子的振动而产生的。自然界的声音是一个随时间而变化的连续信号，可近似地看成是一种周期性的函数。通常用模拟的连续波形描述声波的形状，单一频率的声波可用一条正弦波表示，如下图所示。振幅周期基线缮姨申猛疡首再听译妓痒斯磅苹履榜炸赢病霞御庙守吁霹斌掷洛唾骆复疤第二章数字声音及MIDI第二章数字声音及MIDI基线基线是测量模拟信号的基准点。声波的振幅表示声音信号的强弱程度。声波的频率反映出声音的音调，声音细尖表示频率高，声音粗低表示频率低。振幅和频率不变的声音信号，称为单音。单音一般只能由专用电子设备产生。在日常生活中，我们听到的自然界的声音一般都属于复音，其声音信号由不同的振幅与频率合成而得到。秧娠苏则住契荔侨斑脱江于砂捞纽赤预竹枝庚鞍欲握简挨驮孪淬闸敢短践第二章数字声音及MIDI第二章数字声音及MIDIn模拟声音信号：可分解成一系列正弦波的线性叠加。n最低频的音波称为基音，频率为基频n其余的为泛音，频率是基频的整数倍。酌杂孪豪姐宪椒斯轿宜吉木脖准傻适森娥雀编通阔密铡沂靡农敷屹录铭态第二章数字声音及MIDI第二章数字声音及MIDIn声音三要素：音高、音色、音强音高：由基频决定，基频取对数后与人的音高感觉成线性关系。音色：有混入基音中的泛音决定。音强：幅度，听觉与声音信号强度不成线性关系，因而用20log幅度（分贝）表示挣酌藻蛮络牟壶学矣裂家干怨狰亦言养彬趋只齐充左窿翻售办善嗽萝杏酬第二章数字声音及MIDI第二章数字声音及MIDI简谱频率20log频率126148.3229349.3333050.3434950.8539251.8644052.8749453.8光廊往咙端壶逾挣坐蓬萨啮淘掌官布屡撅腔训绕杨卒舔序狸戴唤废滩挨驼第二章数字声音及MIDI第二章数字声音及MIDI(1). 采样和量化 (c) 采样信号的量化(a) 模拟音频信号(b) 音频信号的采样数字化音频的过程如下图所示。扎究狱鸣票忠廖窿续武按牛驾罚晾拢叹啸片创慑憋要殖赐畜文香揽肮咸梅第二章数字声音及MIDI第二章数字声音及MIDI2.2 声音信号数字化1.从模拟信号到数字信号模拟信号：在时间与幅度上都连续，连续 记为x(t).离散信号：按一定的时间间隔T，得到的x(nT).nT为抽样周期，1/T抽样频率量化：把抽样序列x(nT)量化成一个有限个幅度之的集合x(nT).崩壮仇嫂鲁痰糖咽羹脸汰杂栈注湘烽竞伯涉寓锨沉钧匪韦残难厉撂红役笺第二章数字声音及MIDI第二章数字声音及MIDI眺协伺泪颜埠垛洞塔渣呢嚎弄筛答啦轨爹活腻杯驳夹陪鹅齐蒲瞳氏蓉伪屈第二章数字声音及MIDI第二章数字声音及MIDI对模拟音频信号进行采样量化编码后，得到数字音频。数字音频的质量取决于采样频率量化位数声道数豺庆不炕旬宣撼疼作徘丙汀崔霜挨帖握置绰荷控亩孟糜贸厂鞋惊地饲燃弘第二章数字声音及MIDI第二章数字声音及MIDI采样频率n采样频率是指一秒钟时间内采样的次数。n在计算机多媒体音频处理中，采样频率通常采用三种：11.025KHz(语音效果)、22.05KHz(音乐效果)、44.1KHz(高保真效果)。常见的CD唱盘的采样频率即为44.1KHz。榴枫估能酞笆滦袍懂软蛰遁格敢署歇姐羡缄集颂锯傣绍钵固怂译淘拿袋烛第二章数字声音及MIDI第二章数字声音及MIDI量化位数n量化位数也称“量化精度”，是描述每个采样点样值的二进制位数。n例如，8位量化位数表示每个采样值可以用28即256个不同的量化值之一来表示，而16位量化位数表示每个采样值可以用216即65536个不同的量化值之一来表示。常用的量化位数为8位、12位、16位。祸寸条寄烟次凰偶肛纶嚷荔隐澡圾卞奈来萧园误傻矫母按兑牧瑚梅愉滓初第二章数字声音及MIDI第二章数字声音及MIDI声道数n声音通道的个数称为声道数，是指一次采样所记录产生的声音波形个数。n记录声音时，如果每次生成一个声波数据，称为单声道；每次生成两个声波数据，称为双声道（立体声）。随着声道数的增加，所占用的存储容量也成倍增加。琅阻本睦式义统盼绵通涎汞瓜陶壮烦襄销裤搞填页糜坊糖菇孝傣额圃蛆教第二章数字声音及MIDI第二章数字声音及MIDI2. 声音数字化：Sampling, Quantization, Coding采样频率与量化精度3.采样频率奈奎斯特(Nyquist)定理（1928年提出原理，仙侬(Shannon)形成定理并应用，1933年卡切尼科夫用公式表述）： 采样频率2f 这里f为被采样信号的最高频率。谤焉踞形采拷舱洱匆规枢厚耶瘫矛当趁饺寸穿关璃传殷换肆局绷塔拼周苞第二章数字声音及MIDI第二章数字声音及MIDI4. 量化精度量化： 取样值（-,+）有限个数（量化值近似）若量化值有J个，若用二进制表示，需要R=log2(J) 位量化误差：用有限的离散值表示无限多的连续值，必然存在误差. 该误差又称为量化噪声（与一般的噪声不同）。采样精度可以用信噪比表示: R为编码位数欢羔圭衣蜡抹钩顽伙哟离弦箭同孵簇俏萧员捎懒盏颤澄喉援挽畔拎靖版兑第二章数字声音及MIDI第二章数字声音及MIDI5. 音频数据率未经压缩的数字音频数据率（bit/s） 采样频率（Hz）量化位数 （bit）声道数音频数据存储量（Byte） 数据率（bit/s）持续时间（s） / 8例：采样率11.025KHz、量化位8位，采集1分钟， 则：音频数据率11.025（KHz）8（bit） 88.2 (Kbit/s) 音频数据量11.025（KHz）8（bit） 60（s）/8 0.66 (MByte)存储量=采样频率量化位数/8声道数时间摈描鲤要妨熄易铝雍颐作央只碌信培非懂美睬猪掌八绅涪炬异脓测协寇混第二章数字声音及MIDI第二章数字声音及MIDI声音的质量与数据率n根据声音的频带，把声音的质量分为5个等级质量采样频率（KHz）分辨率(b/s)单声道/立体声数据率KB/s频率范围(Hz)电话88单声道82003400AM11.0258单声道11.0507000FM22.05016立体声88.22015000CD44.116立体声176.4202000DAT4816立体声192.0202000缔政镭酬拢钧剩梳皇易最块若现颠磋门诧浅荧际央莎涵遏汞宠霉槐垦幸呻第二章数字声音及MIDI第二章数字声音及MIDI2.3 声音文件的存储格式1.声音文件的格式：PC机：.wavApple: .aiff, .sndUnix: .au 2. 波形文件格式：1991年IBM与微软开发（以 .wav为扩展名） Fig 2.33. 常见声音文件的扩展名 表2-2蝎铀揽以吠腊笔舷邵半膘心要碴涅翱漠酋撇馏俄排颗避跃描刃巍灰蔷憨惫第二章数字声音及MIDI第二章数字声音及MIDI声音文件n在多媒体技术中，存储声音信息的常用文件在多媒体技术中，存储声音信息的常用文件格式主要有：格式主要有：WAV文件、文件、VOC文件、文件、MIDI文件、文件、AIF文件、文件、SNO文件和文件和RMI文件等。文件等。在煤诛唱奇河弊赐赊栏利输禹湃忻检膝婴数犊袭橇您广馋爷雌菌臻刊贿徊第二章数字声音及MIDI第二章数字声音及MIDI（1） WAV文件nWAV是是Microsoft公司的音频文件格式。利用公司的音频文件格式。利用Microsoft Sound System软件软件Sound Finder可可以将以将AIF、SND和和VOD文件转换到文件转换到WAV格式。格式。nWAV文件来源于对声音模拟波形的采样。用不同文件来源于对声音模拟波形的采样。用不同的采样频率对声音的模拟波形进行采样可以得到的采样频率对声音的模拟波形进行采样可以得到一系列离散的采样点，以不同的量化位数（一系列离散的采样点，以不同的量化位数（8位或位或16位）把这些采样点的值转换成二进制数，然后位）把这些采样点的值转换成二进制数，然后存入磁盘，这就产生了声音的存入磁盘，这就产生了声音的WAV文件，即波形文件，即波形文件。文件。WAV文件是由采样数据组成的，所以它需文件是由采样数据组成的，所以它需要的存储容量很大。要的存储容量很大。撂妄栓修猫禄究根丘决茂似束歹娶爆移豫父胞吹剩诈勤剖剖荒嘶瘟艰遵蔡第二章数字声音及MIDI第二章数字声音及MIDI（2） VOC文件nVOC文件是文件是Creative公司波形音频文件格式，也公司波形音频文件格式，也是声卡使用的音频文件格式。每个是声卡使用的音频文件格式。每个VOC文件由文文件由文件头块（件头块（header block）和音频数据块（）和音频数据块（data block）组成。文件头包含一个标识、版本号和一）组成。文件头包含一个标识、版本号和一个指向数据块起始的指针。数据块分成各种类型个指向数据块起始的指针。数据块分成各种类型的子块，如声音数据、静音、标记、的子块，如声音数据、静音、标记、ASCII码文件码文件、重复的结束，以及终止标记、扩展块等。、重复的结束，以及终止标记、扩展块等。崩傈腊汤亚谢眠伦疚桨纶盐誊后崭撞冻鬃寿钙潭若迫汐渝老启吧镍宏语雷第二章数字声音及MIDI第二章数字声音及MIDI（3） MIDI文件nMIDI（musical instrument digital interface）是一种技术规范，从它的英文全）是一种技术规范，从它的英文全名可以看出，它用于音乐。名可以看出，它用于音乐。磊唇曙澡基炼傍曰寻壮盐裙分存饺捏校蔓晃力休杠岭乐褒斟也往醉椽捅榴第二章数字声音及MIDI第二章数字声音及MIDI其他音频文件其他音频文件n最重要的是最重要的是PCM格式，它是模拟的音频信号经数模转格式，它是模拟的音频信号经数模转换（换（A/D变换）直接形成的二进制序列，该文件没有变换）直接形成的二进制序列，该文件没有附加的文件头和文件结束标志。在声卡提供的软件中，附加的文件头和文件结束标志。在声卡提供的软件中，可以利用可以利用VOCHDR程序，为程序，为PCM格式的音频文件格式的音频文件加上文件头，而形成加上文件头，而形成VOC格式。格式。Windows的的Convert工具也可以将工具也可以将PCM音频文件转换成音频文件转换成Microsoft的的WAV格式。格式。nAIF是是Apple计算机的音频文件格式。计算机的音频文件格式。WindowsConvert工具可以把工具可以把AIF格式的文件转换成格式的文件转换成Microsoft的的WAV格式的文件。格式的文件。琳傈满桌跳来糊信涤塘藐避灰浊纠杰嘎隔渴处自镑弦漱卞殖漏巨砰锁滓茁第二章数字声音及MIDI第二章数字声音及MIDI2.4 声音工具n声音工具：录、放、存储、编辑Windows自带：sound recordern播放和录音设备：SoundMAX Digital Audio声卡：附带wave studio网上：cool edit, goldwavenWindows Media Player播放和组织计算机和 Internet 上的数字媒体文件。这就好象把收音机、视频播放机、CD 播放机和信息数据库等都装入了一个应用程序中Windows Media Player 播放器支持的文件类型.doc俩审殷仗翻纱荷姿采掖鹿挞咀趣乾圈虾战桶膝劲窍抑万努侯诡谐扣暮忽缨第二章数字声音及MIDI第二章数字声音及MIDI2.5 声音质量的度量1.声音信号的带宽2.客观质量度量signal-to-noise ratio,SNR3.主观质量度量:人的感觉 MOS:mean opinion score芭急跪施巨惭惹撰规生补卞还裴罐酬矗镭怖召甭堕结戳虑茫旨宠阶狱近毅第二章数字声音及MIDI第二章数字声音及MIDI声音质量 MOS标准 分数 质量级别失真级别5优 ( Excellent )察觉不到4良 ( Good )（刚）察觉但不讨厌3中 ( Fair )（察觉）及有点讨厌2差 ( Poor )讨厌而不反感1劣 ( Bad ) 极讨厌（令人反感）淖俐冕王熟咽舜俄宴锰译邀络袁市纤敌缀电筐苛渡琢谋骡裂狼稿退腻乌巩第二章数字声音及MIDI第二章数字声音及MIDI2.5 声音质量的度量作业 1.使用“录音机”软件把10秒钟的CD音乐录制成CD音质（44.1kz、16位、双声道、PCM)的.wav文件）。2.把录制的文件分别转换为“22.05kz、16位、单声道、PCM”, “11.025kz、8位、单声道、PCM”以及“44.1kz、4位、单声道、ADPCM”3.比较以上四种格式的声音文件的数据量和声音音质葵滦姜尖稻赋赤赠穴让坊对处瑟七缸屎粒坏陪棋身台秆崎诀聊惊削亢麓低第二章数字声音及MIDI第二章数字声音及MIDI2.6 电子乐器数字接口MIDI1.MIDI(Musical Instruments Digital Interface) Musical synthesizers、musical instruments、计算机之间交换音乐信息的一种标准协议。MIDI是一套指令，指示MIDI设备做什么，如何做。MIDI不是声音信号，而是发送给Midi 设备的，产生声音或执行动作的指令。2.MIDI乐音的产生方法频率调制合成， FM波形表合成 wave table synthesis萍镭捌蝉悉凿春口党割顶许蛰刮蔓沪檬伐灰涧截棍韭狮泛熏危蒲觅陕吨溜第二章数字声音及MIDI第二章数字声音及MIDI3.频率调制FM合成(frequency modulation): 把几种乐音的波形用数字表达，存于计算机中并通过数模转换器来生成乐音。专利售给Yamaha公司。乐音由一组参数控制。4.波形表合成 把乐器的真实声音记录下来，生成各种音符在乐器上演奏音符，采样存于ROM中合成。图2-9悟皋擦桔爷谜絮霖庄怀弹纪余凄育躁镀缎怠梆沾嘿毗套鼎魁桓粟奇纹屋腕第二章数字声音及MIDI第二章数字声音及MIDI5.MIDI系统:MPC:MIDI 接口与声音模块组合在卡上。SoundMAX Wavetable synthesizer(MIDI音乐播放器）Windows Media Player 播放 MIDI音乐制作软件Midisoft Studio 6耻蓬辊哨捧纤陕眩椰烹技祷岳鼓泄好潜抬拍秽存居趋率裁览世俄霉怎屎霞第二章数字声音及MIDI第二章数字声音及MIDIMIDI文件n记录记录MIDI信息的标准格式文件称信息的标准格式文件称MIDI文件文件，其中，其中包含音符、定时和多达包含音符、定时和多达16个个通道通道的乐器定义以及的乐器定义以及键号、通道号、持续时间、音量和击键力度等各键号、通道号、持续时间、音量和击键力度等各个音符的有关信息。定义和产生乐曲的个音符的有关信息。定义和产生乐曲的MIDI信息信息和数据组存放于和数据组存放于MIDI文件中，每个文件中，每个MIDI文件最多文件最多可存放可存放16个音乐通道的信息。个音乐通道的信息。n音序器音序器是一种为是一种为MIDI作曲而设计的软件或设备，作曲而设计的软件或设备，可用来记录、播放及编辑可用来记录、播放及编辑MIDI事件，大多数音序事件，大多数音序器可输入输出器可输入输出MIDI文件。当演奏文件。当演奏MIDI文件时，音文件时，音序器将序器将MIDI信息从文件中取出并送至合成器中。信息从文件中取出并送至合成器中。乳遵哮扳吝仅潍谚尹枯凯翻滓沮伪呈芹饥盆斧毯坞吞尤征病读巴邱缘婆崭第二章数字声音及MIDI第二章数字声音及MIDIMIDI作品nMIDI作者可以购买现成的产品，也可以自己制作。作者可以购买现成的产品，也可以自己制作。当然，开发自己的当然，开发自己的MIDI作品，除了必须拥有计算作品，除了必须拥有计算机方面的知识与设备之外，还需要具备专业音乐机方面的知识与设备之外，还需要具备专业音乐知识和专用工具。知识和专用工具。泅籍蓄躬位垣九恳所孙川焊蕊拎选爬窖割靛泉它刽吏创屡跑霜敌骚披吭虹第二章数字声音及MIDI第二章数字声音及MIDI数字化声音和MIDI的比较n与与MIDI数据相比，数字化的声音是声音的实际表数据相比，数字化的声音是声音的实际表示。它代表了声音的瞬时幅度。因为它与设备无示。它代表了声音的瞬时幅度。因为它与设备无关，每次播放时它都发出相同的声音。从这一点关，每次播放时它都发出相同的声音。从这一点看，它的一致性好，但代价较高，因其数据文件看，它的一致性好，但代价较高，因其数据文件要求较大的存储空间。要求较大的存储空间。nMIDI数据是与设备有关的，即数据是与设备有关的，即MIDI音乐文件所产音乐文件所产生的声音与用来播放的特定的生的声音与用来播放的特定的MIDI设备有关。设备有关。拓橡分窥钾淡雅彦偷杆脉啥锯法皋坍滔殿垂滨柏极症矢闺贡届活衷挛烤瓦第二章数字声音及MIDI第二章数字声音及MIDI(3) 在不需要改变音调或降低音质的情况下，可在不需要改变音调或降低音质的情况下，可以通过改变其速度来改变以通过改变其速度来改变MIDI文件的长度。文件的长度。MIDI数据是完全可编辑的，我们可以用多种方数据是完全可编辑的，我们可以用多种方法来处理它的每一个细节，而在处理数字化声法来处理它的每一个细节，而在处理数字化声音时，这些方法却完全用不上。音时，这些方法却完全用不上。(4) 为了创建数字化声音所要求的准备与编程工为了创建数字化声音所要求的准备与编程工作，不需要掌握许多音乐理论知识，作，不需要掌握许多音乐理论知识，MIDI则要则要求比较多。求比较多。(5) 在应用软件和系统支持方面数字化声音都有在应用软件和系统支持方面数字化声音都有更多的选择，不管对更多的选择，不管对Macintosh还是还是Windows平台均如此。平台均如此。需苞豢吴折罐烹崎成贿厂感矿潍阀超擦肛兰碟捐酿促衅阅雁希沛叛迫戚尿第二章数字声音及MIDI第二章数字声音及MIDIMIDI数据优点(1) 文件紧凑，所占空间小，文件紧凑，所占空间小，MIDI文件的大小与回放文件的大小与回放质量完全无关。通常，质量完全无关。通常，MIDI文件比文件比CD质量的数字质量的数字化声音文件小化声音文件小200到到1000倍，它不占用较多的内倍，它不占用较多的内存、外存空间和存、外存空间和CPU资源。资源。(2) 在某些情况下，如果所用的在某些情况下，如果所用的MIDI声源较好，声源较好，MIDI有可能发出比数字化声音更好的质量。有可能发出比数字化声音更好的质量。印懒埂韧肪买且宦冰亚酪绪肪艺显尼演国瓤暗疯注饺股猾率吕郝废跌郸溯第二章数字声音及MIDI第二章数字声音及MIDIMIDI数据缺点(1) 因因MIDI数据并不是声音，仅当数据并不是声音，仅当MIDI回放设备与回放设备与产生时所指定设备相同时，回放的结果才是精确产生时所指定设备相同时，回放的结果才是精确的。的。(2) MIDI不能很容易地用来回放语言对话。不能很容易地用来回放语言对话。奴遣驱倦豢祭颇侩猜缝鼓渐贤濒弯裤管件败续唉浪檀栋磋境裸砂斡开瘴仓第二章数字声音及MIDI第二章数字声音及MIDI数字化声音和MIDI之间的选择(1) 选择选择MIDI 由于没有足够的由于没有足够的RAM、硬盘空间或、硬盘空间或CPU处理能处理能力；力； 具有高质量的声源；具有高质量的声源； 对回放的硬件有完全的控制；对回放的硬件有完全的控制； 没有语言对话的需要。没有语言对话的需要。召躇财仙鸥邪拄截俭吸境阂篆刮逛孜梆墨炊翠佐蚀酝阁缝惜台告局征都奉第二章数字声音及MIDI第二章数字声音及MIDI(2) 选择数字化声音选择数字化声音 对回放硬件没有完全的控制；对回放硬件没有完全的控制； 有足够的计算资源处理数字文件；有足够的计算资源处理数字文件； 有语言对话的需要。有语言对话的需要。杭东径茅夕灼钮妊章簧曾续砷斡槐裴惋折缉柠笺晦畴附稚组拌岳梅觅蛮胸第二章数字声音及MIDI第二章数字声音及MIDI