第七章第七章 限失真信源编码限失真信源编码本章需要掌握的内容：本章需要掌握的内容： 失真测度失真测度 率失真函数率失真函数 限失真信源编码定理限失真信源编码定理第一节第一节 失真测度失真测度一一. .失真函数失真函数失真函数失真函数-用一个非负函数用一个非负函数d d ( (x xi i ,y ,yj j) )表示当信源发出信息表示当信源发出信息x xi i ，而信宿收到信息而信宿收到信息y yj j的失真度的定量描述的失真度的定量描述信道XYX=x1 x2 xnY Y= = y y1 1 y y2 2 yym m 失真矩阵失真矩阵dd注意注意: :-失真函数的形式是依实际情况人为决定的失真函数的形式是依实际情况人为决定的. .最常用的失真函数有：最常用的失真函数有：信道XY矢量失真函数矢量失真函数例例7-17-1 假定离散矢量信源假定离散矢量信源N=3N=3，输出矢量序列为输出矢量序列为X=XX=X1 1X X2 2X X3 3，其中其中X Xi i , , i=1,2,3i=1,2,3的取值为的取值为 0,10,1 ，经信道传输后的输出为，经信道传输后的输出为Y=YY=Y1 1Y Y2 2Y Y3 3，其中，其中Y Yj j , , j=1,2,3j=1,2,3的取值为的取值为 0,10,1.定义失真函数为定义失真函数为 d(0,0)=d(1,1)=0,d(0,1)=d(1,0)=1d(0,0)=d(1,1)=0,d(0,1)=d(1,0)=1, ,求矢量失真矩阵求矢量失真矩阵 d dN N 。解解：由矢量失真函数的定义得：由矢量失真函数的定义得：类似可以得到其他失真函数的值，则类似可以得到其他失真函数的值，则矢量失真矩阵矢量失真矩阵为为-用来估计全体信源发出的信息与接收信息之间的用来估计全体信源发出的信息与接收信息之间的 失真程度。失真程度。二二. .平均失真函数平均失真函数定义定义：失真函数的数学期望定义为：失真函数的数学期望定义为平均失真函数（平均失真函数（ 平均失真度）平均失真度）矢量平均失真函数为：矢量平均失真函数为：表示第：表示第i i个位置上符号的平均失真函数。个位置上符号的平均失真函数。 例例7-27-2 在语音线谱频率参数的矢量量化中，引入失真在语音线谱频率参数的矢量量化中，引入失真 函数函数d(X,Y)d(X,Y) ，该失真函数反映用码字，该失真函数反映用码字Y Y代替线谱频率参代替线谱频率参 数数X X时付出的代价。平均失真测度为失真函数的数学期望时付出的代价。平均失真测度为失真函数的数学期望 值。通常我们采用加权欧氏失真测度：值。通常我们采用加权欧氏失真测度： 为加权因子，为加权因子，为经验常数为经验常数 为对应测试矢量的为对应测试矢量的LPALPA功率谱功率谱 实验证明该方法比均方误差失真每帧节省实验证明该方法比均方误差失真每帧节省2 2个比特以上个比特以上 第二节第二节 信息率失真函数信息率失真函数在采样率为在采样率为8kHz8kHz的语音信号的子带编码中，如果采用小波的语音信号的子带编码中，如果采用小波 变换把语音信号分解为变换把语音信号分解为4 4个子带，即个子带，即24kHz24kHz，1kHz2kHz1kHz2kHz， 5001000Hz5001000Hz，0500Hz0500Hz。 原始原始全带重建全带重建02kHz02kHz重建重建01kHz01kHz重建重建0500Hz0500Hz重建重建一一. .保真度准则保真度准则规定平均失真度为规定平均失真度为D D，则则信源压缩后的平均失信源压缩后的平均失 真度真度 的准则为保真度准则。的准则为保真度准则。 当失真函数及信源给定后，选择适当信道，使其当失真函数及信源给定后，选择适当信道，使其 平均失真度平均失真度 满足保真度准则满足保真度准则 。所有满足保真。所有满足保真 度准则的信道，称为度准则的信道，称为D D失真允许试验信道，失真允许试验信道，记作记作 在在D D允许信道中可以寻找一个信道，使得给定的信允许信道中可以寻找一个信道，使得给定的信 源经过此信道传输时，其信道传输率达到最小，这个源经过此信道传输时，其信道传输率达到最小，这个 最小值定义为最小值定义为信息率失真函数信息率失真函数，记为：，记为：二二. .信息率失真函数信息率失真函数R(D)R(D)含义：含义：率失真函数是在给定信源、规定失真函数后率失真函数是在给定信源、规定失真函数后 ，在满足保真度准则的前提下，为了再现信源信息，在满足保真度准则的前提下，为了再现信源信息， 信宿从信源必须获取的最小平均信息量。也就是信源信宿从信源必须获取的最小平均信息量。也就是信源 必须传输给信宿的最小信息率。必须传输给信宿的最小信息率。 例例7-37-3：设信源的符号表示为设信源的符号表示为即符号不发生错误时失真为即符号不发生错误时失真为0 0，一旦出错失真为，一旦出错失真为1 1。 假设允许的失真限度为假设允许的失真限度为试分析在给定的失真限度条件下信息压缩的程度。试分析在给定的失真限度条件下信息压缩的程度。，各符，各符号等概分布，规定失真函数为号等概分布，规定失真函数为解解：由信源概率分布可求出信源熵为：由信源概率分布可求出信源熵为如果对信源进行无失真编码，即平均失真度如果对信源进行无失真编码，即平均失真度则平均每个符号至少需要则平均每个符号至少需要个二进制码元来表示。个二进制码元来表示。此时信源编码器的输出信息率为此时信源编码器的输出信息率为当允许的失真限度为当允许的失真限度为时，可以计算得时，可以计算得按照最大的失真度来进行编码，即平均失真度按照最大的失真度来进行编码，即平均失真度也就是说，当收到也就是说，当收到100100个符号，允许其中有个符号，允许其中有5050个符号发生个符号发生 错误。设想采用下面的编码方法：错误。设想采用下面的编码方法：用信道表示如下：用信道表示如下：该信道的平均失真度为：该信道的平均失真度为：由平均互信息的公式可知：由平均互信息的公式可知：该编码方法相当于一个确定信道，则该编码方法相当于一个确定信道，则信道输出概率分布为：信道输出概率分布为：则输出熵为则输出熵为 平均互信息：平均互信息：即采用上面的编码方法后的信息率即采用上面的编码方法后的信息率比较率失真函数和该信道的信息率有比较率失真函数和该信道的信息率有： 当当时，该编码器输出的信息率时，该编码器输出的信息率等于等于率失真函数，而当率失真函数，而当时，该编码器输出的信息率时，该编码器输出的信息率大于大于率失真函数率失真函数 说明说明该编码方法不是最好的编码方法该编码方法不是最好的编码方法 。从两个方面应用这个率失真函数：从两个方面应用这个率失真函数：再看具体编码方法的输出信息率跟再看具体编码方法的输出信息率跟1 1）在给定失真度）在给定失真度D D的条件下，求出所能达到的最小信息率的条件下，求出所能达到的最小信息率的关系，然后判断的关系，然后判断 该编码方法是否适合。该编码方法是否适合。然后看具体编码方法的失真是否超过最小失真然后看具体编码方法的失真是否超过最小失真2 2）在给定信息率）在给定信息率R R的条件下，求出所能达到的最小失真的条件下，求出所能达到的最小失真在在WIWI语音压缩编码中，线谱频率的量化采用矢量量化，它是语音压缩编码中，线谱频率的量化采用矢量量化，它是从第从第 二个方面应用率失真函数来指导的二个方面应用率失真函数来指导的。目前，每帧语音的线谱频率。目前，每帧语音的线谱频率 只需要只需要2020比特来表示就能达到透明量化质量。比特来表示就能达到透明量化质量。原始语音原始语音WIWI语音语音20bit20bit本人采用的方法本人采用的方法15bit15bit-连续信源连续信源 三三. .率失真函数率失真函数R(D)R(D)的的定义域定义域信道传输的信息量等于信源的熵，即：信道传输的信息量等于信源的熵，即：1.1.-离散信源离散信源2 2. .的定义域为：的定义域为：如何求解出如何求解出 呢？呢？当当时，信道的输入与输出相互独立，则时，信道的输入与输出相互独立，则此时的平均失真为此时的平均失真为 如果选取如果选取 的最小值对应的的最小值对应的 令其它的令其它的 对应的对应的 ，则有，则有 例例7-47-4：设输入输出符号表示为：设输入输出符号表示为，输入概率分布为，输入概率分布为，失真矩阵为，失真矩阵为，求平均失真度为，求平均失真度为和和时的率失真函数以及对应的编码器的转移概率。时的率失真函数以及对应的编码器的转移概率。 解解：当平均失真度为：当平均失真度为时，编码是无失真的，则时，编码是无失真的，则编码器的转移概率为编码器的转移概率为当平均失真度为当平均失真度为时，编码具有最大无失真，则时，编码具有最大无失真，则此时此时 编码器的转移概率为编码器的转移概率为此时此时四四. .率失真函数的数学特性率失真函数的数学特性1. 1.下凸性下凸性。给定信源及规定失真函数后，在给定信源及规定失真函数后，在的定义域的定义域内，内，是关于是关于D D的下凸函数，即对于任意的下凸函数，即对于任意和和，有，有2.R(D)2.R(D)是关于是关于D D的单调递减函数的单调递减函数率失真函数率失真函数也是关于也是关于D D的的连续函数连续函数 在定义域在定义域，若有，若有，则有，则有结论：结论： 率失真函数率失真函数是非负实数，即是非负实数，即。其定义域为。其定义域为 ，其对应的值为，其对应的值为。当。当 时，时，是关于是关于D D的单调递减函数。的单调递减函数。是关于是关于D D的下凸函数，因而也是关于的下凸函数，因而也是关于D D的连续函数。的连续函数。H H（X X）R R（D D）R R（D D1 1）0D1DmaxD五五.R.R（D D）函数的计算函数的计算设信源的输入序列为设信源的输入序列为 信源编码器的输出序列为信源编码器的输出序列为 规定失真函数为规定失真函数为 的计算是在约束条件的计算是在约束条件 下，求下，求 的极小值问题。的极小值问题。 通常情况下，引入拉格朗日乘法，引入乘子通常情况下，引入拉格朗日乘法，引入乘子s s和和将上述条件极值问题转化为无条件极值问题：将上述条件极值问题转化为无条件极值问题：由上式解出所有由上式解出所有，带入平均互信息的求解公式中得到，带入平均互信息的求解公式中得到在约束条件下的平均互信息的极小值，即是率失真函数在约束条件下的平均互信息的极小值，即是率失真函数 。（1）计算（i=1,2,.,n) （2）计算（3）计算（4）计算1）率失真函数的参量算法例例7-57-5：设信源输入符号集为设信源输入符号集为(0,1)(0,1)，其中，其中 。失真。失真 函数定义为函数定义为 ， ，设输出符号集为，设输出符号集为 (0,1)(0,1)，允许的失真度为，允许的失真度为D D，求率失真函数求率失真函数R(D)R(D)。解解： （1 1）首先由）首先由来计算来计算和和则有则有解出解出（2 2）：由）：由来计算来计算和和则有则有解出解出（3 3）：将求得的）：将求得的和和代入代入得到平均失真度为得到平均失真度为则解出参量则解出参量s s为为（4 4）：将参量）：将参量s s代入代入得得可以看出可以看出：是本身要传输的信息量，是本身要传输的信息量，是由允许失真是由允许失真D