计算机科学系 黄 剑 huangjian2004gmail.com多媒体技术基础第一章：数字声音及MIDI简介,2006年主要内容n 声音本质与听觉特性 n 声音质量的度量 n 声音信号数字化 n 音乐的基础知识 n 电子音乐合成技术 n 电子乐器数字接口（MIDI）声音的本质n声音是携带信息的极其重要的媒体（20） n声音是通过空气传播的一种连续的波，叫声波，也具有 反射、折射和衍射现象。 n声音信号是由许多频率不同的分量信号组成的复合信号 。复合信号的频率范围称为带宽。 高保真声音（1020KHZ）带宽约为20KHZ 视频信号带宽6MHZ 频率低于20HZ的次音信号 带宽为20Hz20kHz的信号称为音频（audio）信号，可以被人的 耳朵感知。人说话一般是3003000HZ。 高于20KHZ是超声波； n声音信号得两个几本参数： 频率 幅度声音的分类n 波形声音n 语音 803400Hzn 音乐声音的三要素n 音调、音强、音色为声音的三要素。 n 音强（响度）取决于声音的幅度（分贝） 。 n 音调取决于声音的频率。 n 音色是由混入基音的泛音所决定的。声音的听觉特性n 人的耳朵对声音强度的反应成对数形式 n 声音的方向性 n 声音的掩蔽特性（时域掩蔽、频域掩蔽 、MP3）声音质量的度量n 声音的质量与声音的带宽有关，一般来说 频率范围越宽，声音质量也就越高。声音类型带 宽 电话语 音200Hz3.4kHz调幅广播50Hz7kHz调频广播20Hz15kHzCD20Hz20kHz信噪比（SNR）、主观平均判分法（MOS ）。声音信号数字化n过去，大多数电信号的处理一直是用模拟元部件(如晶体管、变压 器、电阻、电容等)对模拟信号进行处理。 n如果把模拟信号转变成数字信号，用数字来表示模拟量，对数字信 号做计算，这就出现了数字信号处理器(digital signal processor ，DSP)。 在数字域而不在模拟域中做信号处理的主要优点是： n首先，数字信号计算是一种精确的运算方法，它不受时间和环境变化的影响； n其次，表示部件功能的数学运算不是物理上实现的功能部件，而是仅用数学运算去 模拟，其中的数学运算也相对容易实现； n此外，可以对数字运算部件进行编程，如欲改变算法或改变某些功能，还可对数字 部件进行再编程。 n声音信号是典型的连续信号，不仅在时间上是连续的，而且在幅度 上也是连续的。 n声音进入计算机的第一步就是数字化，数字化实际上就是采样和量 化。声音信号数字化n 采样（sampling）：将声音信号在时间 上离散化，即每隔相等的一段时间抽取 一个信号样本。声音信号数字化n 量化（quantization）：将连续的信号 幅度离散化。如果幅度的划分是等间隔 的，称为线性量化，否则为非线性量化 。电压范围 量化(dec) 编码(bin)0.5 0.7 3 0110.3 0.5 2 0100.1 0.3 1 001-0.1 0.1 0 000-0.3 -0.1 -1 111-0.5 -0.3 -2 110-0.7 -0.5 -3 101-0.9 -0.7 -4 100声音信号数字化n 采样频率 奈奎斯特理论指出：采样频率不应低于 声音信号最高频率的两倍，这样就能把 以数字表达的声音还原成原来的声音， 称为无损数字化。fs = 2fmax 话音信号最高频率约为3.4kHz，所以采 样频率取为8kHz。声音信号数字化n 采样精度 每个声音样本的数字化位数反映了声音波形幅度 的采样精度（b/s）。 信噪比得计算。 nSNR 10 log (Vsignal)2 / (Vnoise)220 log (Vsignal / Vnoise)其中，Vsignal表示信号电压， Vnoise表示噪声电压；SNR的单位为分贝(db) n例1：假设Vnoise1，采样精度为1位表示Vsignal21 ，它的信噪比SNR6分贝。 n例2：假设Vnoise1，采样精度为16位表示Vsignal 216，它的信噪比SNR96分贝。声音信号数字化质量采样频率 （kHz）样本精度单道声/ 立体声数据率 （kb/s）频率范围 （kHz） 电话88单道声64200 3400 AM11.0258单道声88507000FM22.05016立体声705.620 15000 CD44.116立体声1411.220 20000 DAT4816立体声153620 20000声音信号数字化n 声音工具 Sound Recorder 买声音卡时带的工具 网络上下载的工具 声音信号数字化n 声音质量的度量 用信噪比(signal to niose ratio，SNR) 主观度量声音质量的方法主观平均判分法，所 得的分数称为主观平均(mean opinion score， MOS)分。 分数质量级别失真级别5优(Excellent)无察觉4良(Good)(刚)察觉但不讨厌3中(Fair)(察觉)有点讨厌2差(Poor)讨厌 但不反感1劣(Bad)极讨厌 (令人反感)音乐n 音乐起初是与巫术和宗教活动联系在一起的，舜作“韶”、 禹作“大夏”、武王作“大武”，“乐”被孔夫子列为“六艺”之 一 。后来，音乐从宗教中渐渐脱离出来，成为一种独立 的艺术。 n 以小提琴为例，当它的A弦振动时，并不仅仅是整根弦在 振动，这根弦的二分之一、三分之一、四分之一、五分之 一处都在振动着。于是，整根弦的振动产生了最主要 的频率，我们称之为基音，而弦长的二分之一、三分之一 、四分之一等处的振动则产生了一些次要的频率，我们称 之为泛音。 n 如果一个物体振动所发出的泛音为基音的整数倍，这个音 就会具有清晰可辨的音高，我们称之为乐音，如钢琴，小 提琴等发出的都是乐音；如果泛音是基音的非整数倍，这 个音就不具备清晰可辨的音高，我们称之为噪音，如汽车 发动机、计算机风扇等发出的都是噪音。 音乐的四要素n 音高：由基音的频率决定。即“哆”“唻”“咪”等音 符。 n 响度：由声波的振幅决定。 n 音色：由基音与泛音的比例、泛音的分布、泛音 随时间的衰减变化决定。不同发音源（乐器）的 材质、形状不同，其泛音的排列组合也不同，也 就构成了这一物体特殊的音色。 n 时值：乐音振动的持续时间，即节奏。电子音乐合成n 使用电子元器件（计算机）生成音乐的 技术称为电子音乐合成。电子音乐合成 器又称为“魔音琴”。 n 电子音乐合成方法分为两大类：模拟合成法： 减法合成 加法合成数字合成法： FM频率调制合成 音乐样本合成（波形表合成法）频率调制（FM）合成法n 数字式频率调制合成法，简称为FM合成法。 n FM电子合成器先由震荡器产生一个载波作为基音， 然后再产生若干个调制波带着许多泛音加在载波之上 ，您可以对这个组合加以任意调整，然后加上典型的 声音包络线（ADSR），再通过数控滤波器和数控放 大器送往数字/模拟转换器，从而形成最后的音响。 n 由于一个物体不可能总是一成不变的振动，所以它的 频率和振幅都会随着时间的改变而改变，并最终趋于 静止。我们把一声音的发展过程分为四个阶段，分别 是触发、衰减、保持和消失。这四个阶段我们统称为 “包络” 。包络的发生时间，也决定了一个乐音的时值 。 由以下五部分组成： 数字载波器 调制器 声音包络发生器 数字运算器 模数转换器频率调制（FM）合成法FM声音合成器的工作原理从理论上讲，FM合成方法可以产生任何乐音，但是，这种“物理课式 ”的合成方法合成出来的声音不够真实。乐音样本合成法n 乐音样本合成法是把真实乐器发出的声 音以数字的形式记录下来，播放时再加 以调整、修饰和放大，生成各种音阶的 音符。n 乐音样本通常放在ROM芯片上，播放时 以查表的方式给出，所以这种合成器又 叫做波表（wave table）合成器。Wavetable合成器的工作原理Wavetable合成器所 需要的输入控制参数比 较少，可控的数字音效 也不多，大多数采用这 种合成方法的声音设备 都可以控制声音包络的 ADSR参数，产生的声音 质量比FM合成方法产生 的声音质量要高。乐音样本合成法 波表库容量 音调数（复音数） 音色数 特殊效果Wavetable合成器的衡量标准软件波表与DLSn 软件波表，故名思义就是用软件来模拟硬件波表合成 器，它的原理跟硬件波表完全一样，只不过硬波表是 把乐器的波形存放到ROM里，在需要的时候直接调用 ；而软波表是把乐器的波形存到硬盘上的某一个文件 里，在需要的时候通过CPU运算调用。所以，软波表 会占用比较多的CPU资源。著名的软波表有 YAMAHA公司的S-YXG系列和ROLAND公司的VSC 系列，还有韩国COWON公司的JET-MIDI。 n 由于硬波表价格难以令大众接受并且不易升级，于是 就有了价格便宜的DLS（Downloadable Sound Modules）波表合成技术，这是个介于硬波表和软波 表之间的东西。虽然它能把波表存储在硬盘上，使用 时再调入内存然后通过声卡上的专用音效芯片来处理 。 电子乐器数字接口（MIDI）n 电子乐器数字接口（musical instrument digital interface, MIDI）是 用于在音乐合成器、电子乐器、音序器 和计算机之间交换音乐信息的一种标准 协议。从80年代初问世至今，MIDI经历 了长时间的发展，现已成为电脑音乐的 代名词。电子乐器数字接口（MIDI）n MIDI实质上是由MIDI控制器（或MIDI文件） 产生的指示电子音乐合成器要做什么、怎么做 （如演奏某个音符、加大音量、生成音响效果 ）的一套标准指令。MIDI不是声音信号，在 MIDI电缆上传送的不是声音，而是动作指令 。电子乐器数字接口（MIDI）n 由于MIDI只是记录音乐信息的数字代码 ，所以生成的文件比较小，便于传播， 也便于编辑修改 。 n MIDI音乐常作为背景音乐。 n 与Mp3、Wav等音频格式不同的是MIDI 的播放质量很大程度上取决于硬件或软 件的音源环境，也就是说同样的MIDI文 件在不同的电脑上可能有非常明显的效 果差别，究其原因是因为它们调用的波 表音色库不一样 。各个MIDI设备通过专用的串行电缆(MIDI线) 连接， 并以 31.25 kbps（每字节10位） 的速度传 送着数字音乐信息。MIDIThru Out InMIDI的物理接口标准MIDI设备的连接不妨把MIDI理解成一种局域网，网络的各个部分通过专 用的串行电缆(MIDI线)连接， 并以 31.25 kbps 的速度传 送着数字音乐信息。 MIDI的通道概念单个物理MIDI通道分为16个逻辑通道，每个逻辑通道可 指定一种乐器。MIDI键盘可设置在这16个通道中的任何 一个，MIDI合成器可以被设置在指定的通道上接受。 由于早期的MIDI设备在乐器的音色排列上没有统一的标准，造成不 同型号的设备回放同一首乐曲时也会出现音色偏差。为了弥补这一不足 ，便出现了GS、GM和XG这类音色排列方式的标准。GS排在第一位是由于它最早出台，并且是由业界大名鼎鼎的 ROLAND公司制定并推出的。ROLAND是日本非常出名的电子乐器厂商 ，其生产开发的电子键盘、MIDI音源以及软波表都享有盛誉。所以GS 颇具权威性，它完整的定义了128种乐器的统一排列方式，并规定了 MIDI设备的最大复音数不可少于24个等详尽的规范。GM标准则是在GS的基础上，加以适当简化而成的。由于它比较符 合众多中小厂商的口味，成为了业界广泛接受的标准。在电子乐器方面唯一可与ROLAND相匹敌的YAMAHA公司也不甘 示弱，于