第第1 1章：概述章：概述 第2章：信源熵 第3章：信道容量 第4章：信息率失真函数 第5章：信源编码 第6章：信道编码 第7章：密码体制的安全性测度 4.1 信息率失真函数 4.2 离散信源的信息率失真函数 4.3 连续信息的率失真函数 4.4 保真度准则下的信源编码定理 实际通信系统允许一定的失真存在。 1打电话； 2放电影，视觉暂留性 。 允许压缩信源输出的信息率。 研究内容：信息率 允许失真 4.1 4.1 信息率失真函数信息率失真函数 4.1.1 失真函数和平均失真度 4.1.2 率失真函数定义 4.1 .3 率失真函数性质 对任一指定一个非负数 失真度 （函数） a1 b1 a2b2 anbm 1 汉明失真 2 平方误差失真函数 由于由于a a i i 和和b b j j 都是随机变量，所以失真函数都是随机变量，所以失真函数d d( (a a i i ，b b j j ) )也是随机变量，限失真时的失真值，只也是随机变量，限失真时的失真值，只 能用它的数学期望或统计平均值，因此将失能用它的数学期望或统计平均值，因此将失 真函数的数学期望称为真函数的数学期望称为平均失真度平均失真度，记为，记为 平均失真度 允许失真 保真度准则保真度准则 4.1 4.1 信息率失真函数信息率失真函数 4.1.1失真函数和平均失真度 4.1.2 率失真函数定义 4.1.3 率失真函数性质 信源编码器 XY 假想信道 将信源编码器看作信道 信源编码器的目的是使编码后所需的信息传信源编码器的目的是使编码后所需的信息传 输率输率R R尽量小，然而尽量小，然而R R越小，引起的平均失越小，引起的平均失 真就越大。给出一个失真的限制值真就越大。给出一个失真的限制值D D，在满，在满 足平均失真足平均失真 的条件下，选择一种编码的条件下，选择一种编码 方法使信息率方法使信息率R R尽可能小。信息率尽可能小。信息率R R就是所就是所 需输出的有关信源需输出的有关信源X X的信息量。将此问题对的信息量。将此问题对 应到信道，即为接收端应到信道，即为接收端Y Y需要获得的有关需要获得的有关X X的的 信息量，也就是互信息信息量，也就是互信息I I( (X X; ;Y Y) )。这样，选择。这样，选择 信源编码方法的问题就变成了选择假想信道信源编码方法的问题就变成了选择假想信道 的问题，符号转移概率的问题，符号转移概率p p( (b b j j / /a a i i ) )就对应信道转就对应信道转 移概率。移概率。 D失真许可的 试验信道 平均失真由信源分布平均失真由信源分布p p( (a a i i ) )、假想信道的转移、假想信道的转移 概率概率p p( (b b j j / /a a i i ) )和失真函数和失真函数d d( (a a i i ，b b j j ) )决定，若决定，若p p( (a a i i ) )和和d d( (a a i i ，b b j j ) )已定，则已定，则调整 使 1 1、D D允许试验信道允许试验信道 2 2、信息率失真函数信息率失真函数R(D)R(D) 由于互信息取决于信源分布和信道转移概率由于互信息取决于信源分布和信道转移概率 分布，当分布，当p p( (a a i i ) )一定时，互信息一定时，互信息I I是关于是关于p p( (b b j j / /a a i i ) ) 的的下下凸函数，存在极小值。因而在上述允许凸函数，存在极小值。因而在上述允许 信道信道P P D D 中，可以寻找一种信道中，可以寻找一种信道p p( (b b j j / /a a i ) ) ，使给，使给 定的信源定的信源p p( (a a i i ) )经过此信道传输后，互信息经过此信道传输后，互信息I I( (X X ；Y Y) )达到最小。该最小的互信息就称为信息达到最小。该最小的互信息就称为信息 率失真函数率失真函数R(D)R(D)，即，即 4.1 4.1 信息率失真函数信息率失真函数 4.1.1失真函数和平均失真度 4.1.2 率失真函数定义 4.1.3 4.1.3 率失真函数性质率失真函数性质 定义域：1 D=0R(D)=H(X) 连续 ： 令 线性分配 a1a2 假定所有Dj中，Ds最小，令 下凸性2 定义新试验信道： 满足保真 度准则 由 对 的下凸性： 连续和单调递减性3 D H(X) R(D) 4.1 信息率失真函数 4.2 离散信源的信息率失真函数 4.3 连续信息的率失真函数 4.4 保真度准则下的信源编码定理 4.24.2离散信源的信息率失真函数离散信源的信息率失真函数 4.2.1 离散信源信息率失真函数的 参量表达式 4.2.2 二元信源的率失真函数 令 令 1 2 3 32 1 4 5 负值 在公式 两边对S取导数 2 两边乘以 对 求和 D 4.24.2离散信源的信息率失真函数离散信源的信息率失真函数 4.2.1离散信源信息率失真函数的 参量表达式 4.2.2 4.2.2 二元信源的率失真函数二元信源的率失真函数 1 验证 是否大于等于零 2 3 4 5 6 7 容忍失真允许压 缩的信息率 1 S(D) D 0.50.25 P=0.25 P=0.5 4.3连续信息的率失真函数 4.3.14.3.1 连续率失真函数的参量表达式 4.3.2 4.3.2 高斯信源的率失真函数 4.3.3 信息价值 4.3.34.3.3 信息价值信息价值 合格品a1，废品a2，生产过程抽 象成信源： 例 把检验过程看作信道，检验结果即 为信道输出。 合格品出厂： b1：检验合格b2：检验不合格 废品报废 ： 合格品报废： 废品出厂 ： 不经检验全部出厂：1 不经检验全部报废：2 检验完全正确 ： 3 检验不十分可靠 ： 4 比最大损失减少了： 0.99-0.199=0.791 元 信息率信息率R R的价值的价值 价值率 CR(D) 的上凸函数 的下凸函数 的极大值 的条件极小 值 的函数 的函数 仅与信道特性有关仅与信源特性有关 解决可靠性问题解决有效性问题 信息传输的基础信源压缩的基础 4.4 4.4 保真度准保真度准则则则则下的信源下的信源编码编码编码编码 定理定理 RR(D) RR(D) HH( (X X) )、 C C 、R R( (D D) )：临界值，衡量 通信能否满足要求的重要界限。