222 变长码,若要实现无失真编码，不但要求信源符号与每个符号的码字一一对应，而且要求码符号序列与信源符号序列也一一对应。也就是要求所编的码为惟一可译码。我们首先分析等长编码，再分析变长编码，以做比较。,一、等长码基本问题,等长码特点：,C2=000,001,100,101,111，l2=3 code/sig,要求：,问题：,例1,惟一可译码,等长编码,C1=00,01,10,11,10，l1=2 code/sig,(2)高效,奇异码,一、等长码基本问题,可能的码字数消息数,对基本信源编码：,对N长源编码：,要求：,消息数,码字数：rl, r lq (llogrq),（对例1，q=5, 要求：2l5，即l 3）, r lqN (l/Nlogrq),一、等长码基本问题,则，q=53=125种128=27 l=7 code/3_sigs平均码长：l/N=7/3=2.33 code/sig l2,例1（续）S的三次扩展：, 等长码码长要求 l/Nlogrq（保证唯一可译码，无失真） logrq为下限 扩展信源编码的平均码长0，只要满足：,则当N足够大时，可实现几乎无失真编码，即译码错误概率可为任意小。,则不可能实现无失真编码，且当N足够大时译码错误概率近似等于1。,反之，若：, 适用于DMS及平稳有记忆信源, 平均码长下限：, 基本方法：N长源、变长编码, 对等长编码,若要实现几乎无失真编码,则信源长度必满足:,定理2-1说明：,二、等长信源编码定理,当 10-5（即PEH(S)，就存在唯一可译变长编码；若RH(S)，唯一可译变长编码不存在，不能实现无失真编码。,四、变长信源编码定理,编码后每个信源符号能载荷的最大信息量为：,表述四：,设信源熵为H（比特/符号），无噪无损信道的信道容量为Ct（比特/秒），则总可以找到一种编码方法对信源的输出进行无失真编码，使得在信道上传输的平均码速率为（Ct /H-）（符号/秒），其中为任意小的正数，但要使传输的平均码速率大于Ct / H（符号/秒）是不可能的。,四、变长信源编码定理,四、变长信源编码定理,若对信源U进行编码所得到的平均码长，因为平均码长一定大于或等于Hm(U)，所以定义编码的效率为：,对同一信源来说，码的平均码长越短，越接近极限值Hm(U)，信道的信息传输率就越高，越接近无噪无损信道容量。,码剩余度定义：,对于二元无噪无损信道m=2，Hm(U)=H(U),例3比较,N长源编码的效率。,解：H(S)=0.811 bit/sig,四、变长信源编码定理,五、统计匹配编码,离散无失真编码实质上是一种统计匹配编码，是根据信源符号的不同概率分布分配与之相对应码字，对出现概率大的符号分配短的码字，对出现概率小的符号分配长的码字，这样可以使信源符号的平均码长最短。,编码器输入：,编码器输出的码字为：,要实现无失真信源编码，必须同时满足无失真和有效性两个条件，只能从信源统计特性上去考虑。,