第9讲 离散信源的剩余度及其应用1、剩余度2、应用冗余度(剩余度)实际的离散信源可能是非平稳的，对于 非平稳信源来说，其 H 不一定存在，但可 以假定它是平稳的，用平稳信源的H来近 似。然而，对于一般平稳的离散信源，求H 值也是极其困难的。那么，进一步可以假 设它是m阶马尔可夫信源，用m阶马尔可夫 信源的平均信息熵H(m+1)来近似。再进一步简化信源，即可假设信源是无记忆 信源，而信源符号有一定的概率分布。这时， 可用信源的平均自信息量H1=H(X)来近似。最后，可以假定是等概分布的无记忆离散 信源，用最大熵H0=logM来近似。由于信源符号间的依赖关系使信源的熵减小。它 们的前后依赖关系越长，信源的熵越小。当信源符号 间彼此无依赖、等概率分布时，信源的熵才达到最大 。也就是说，信源符号之间依赖关系越强，平均每 个符号提供的信息量就越小。每个符号提供的平均自 信息量随着符号间的依赖关系长度的增加而减少。为 此，我们引进信源的冗余度（也叫剩余度或多余度） 来衡量信源的相关性程度。对于一般平稳信源来说，极限熵为H (X) ， 这就是说，如果我们要传送这一信源的信息， 理论上来说只需要有传送H (X)的手段即可。 但实际上我们对它的概率分布不能完全掌握， 如果把它近似成m阶马尔可夫信源，则可以用 能传送Hm (X)的手段去传送具有H (X)的信源 ，当然这里面就不太经济。 定义： 则冗余度为信源的冗余度能够很好地反映信源输出的 符号序列中符号之间依赖关系的强弱。冗余度越大，表示信源的实际熵越小， 表明信源符号之间的依赖关系越强，即符号 之间的记忆长度越长；反之，冗余度越小，表明信源符号之间 的依赖关系越弱，即符号之间的记忆长度越 短。当冗余度等于零时，信源的熵就等于极大熵 H0，表明信源符号之间不但统计独立无记忆， 而且各符号还是等概分布。因此，冗余度可以 用来衡量信源输出的符号序列中各符号之间的 依赖程度。例：以符号是英文字母的信源为例，英文字母 加上空格共有27个，则最大熵为但实际上，用英文字母组成单词，再由单 词组成句子时，英文字母并不是等概率出现， 比如我们知道在英语中E出现的概率大于Q出现 的概率。对在英文书中各符号的概率加以统计 ，可以得出各个字母出现的概率，由此得出第 一级近似为无记忆信源的熵：再考察英语的结构得知，要组成有意义的 单词，英文字母的前后出现是有依赖关系的， 当前面某个字母出现后，后面将出现什么字母 ，并不是完全不确定的，而是有一定的概率分 布。例如字母T后面出现H、R的可能性较大， 出现J、K、L、M、N的可能性极小，而根本不 会出现Q、F、X。考虑到字母之间的依赖性，可以把英语信 源做进一步精确的近似，看作一阶或二阶马尔 可夫信源，这样可以求得：因此可知，在信源所输出的序列中依赖关系 越复杂，信息熵就越小。实际上，英文信源的 信息熵还要小得多，一般认为 。 因此，信息效率和冗余度为应用（1）从提高传输信息效率的观点出发，总是希 望减少或去掉冗余度。实际的通信系统中， 为了提高传输效率，往往需要把信源的大量 冗余进行压缩，这就是所谓的信源编码。（2） 冗余度大的消息具有强的抗干扰能力。当 干扰使消息在传输过程中出现错误时，我们能 从上下关联中纠正错误。从提高抗干扰能力的角度来看，总是希望 增加或者保留信源的冗余度，或者是传输之前 在信源编码后去除冗余的符号序列里加入某些 特殊的冗余度，以达到通信系统理想的传输有 效性和可靠性，这就是所谓的信道编码。第2章复习 概念(1)、信息是可以定量描述的，可以比较大小 的，由概率决定； 、信源的分类及描述（马尔可夫信源） 、对于特定信源，可以求出所含不确定度 ，也就是消除不确定度所需的信息量； 、可通过对信源的观察、测量获得信息， 以减少对信源的不确定度；概念(2) 考虑信源符号概率分布和符号之间的记 忆性，信源不确定度会下降； 通过传输，信宿可以得到信息I(X;Y)，从 而减小对信源的不确定度： H(X/Y)=H(X)-I(X;Y) 信息通过系统传输，只会丢失信息，不 会增加。丢失部分H(X/Y)是由噪声引起的 ；定义、计算公式、相互关系 自信息量、信源熵、互信息、条件熵、联合熵 序列熵、平均符号熵、极限熵 Markov信源的平稳分布、极限熵 相对熵差熵 冗余度