资源预览内容
第1页 / 共27页
第2页 / 共27页
第3页 / 共27页
第4页 / 共27页
第5页 / 共27页
第6页 / 共27页
第7页 / 共27页
第8页 / 共27页
第9页 / 共27页
第10页 / 共27页
亲,该文档总共27页,到这儿已超出免费预览范围,如果喜欢就下载吧!
资源描述
一、概念简答题(共 10 题,每题 5 分)1.简述离散信源和连续信源的最大熵定理。2.什么是平均自信息(信息熵)?什么是平均互信息?比较一下两个概念的异同之处。3.解释等长信源编码定理和无失真变长信源编码定理,说明对于等长码和变长码,最佳码的每符号平均码长最小为多少?编码效率最高可达多少?4.解释最小错误概率译码准则,最大似然译码准则和最小距离译码准则,说明三者的关系。5.设某二元码字 C=111000,001011,010110,101110,假设码字等概率分布,计算此码的编码效率?采用最小距离译码准则,当接收序列为 110110 时,应译成什么码字?6.一平稳二元信源,它在任意时间,不论以前发出过什么符号,都按 发出符号,求 和平均符号熵 7.分别说明信源的概率分布和信道转移概率对平均互信息的影响,说明平均互信息与信道容量的关系。8.二元无记忆信源,有 求:(1)某一信源序列由 100 个二元符号组成,其中有 m 个“1”,求其自信息量?(2)求 100 个符号构成的信源序列的熵。9.求以下三个信道的信道容量:, ,10.已知一(3,1,3)卷积码编码器,输入输出关系为:试给出其编码原理框图。二、综合题(共 5 题,每题 10 分)1.二元平稳马氏链,已知 P(0/0)=0.9,P(1/1)=0.8,求:(1)求该马氏信源的符号熵。(2)每三个符号合成一个来编二进制 Huffman 码,试建立新信源的模型,给出编码结果。(3)求每符号对应的平均码长和编码效率。2.设有一离散信道,其信道矩阵为 ,求:(1)最佳概率分布?(2)当 , 时,求平均互信息 信道疑义度(3)输入为等概率分布时,试写出一译码规则,使平均译码错误率 最小,并求此3.设线性分组码的生成矩阵为 ,求:(1)此(n,k)码的 n=? k=?,写出此(n,k)码的所有码字。(2)求其对应的一致校验矩阵 H。(3)确定最小码距,问此码能纠几位错?列出其能纠错的所有错误图样和对应的伴随式。(4)若接收码字为 000110,用伴随式法求译码结果。4.二元对称信道的信道矩阵为 ,信道传输速度为 1500 二元符号/秒,设信源为等概率分布,信源消息序列共有 13000 个二元符号,问:(1)试计算能否在 10 秒内将信源消息序列无失真传送完?(2)若信源概率分布为 ,求无失真传送以上信源消息序列至少需要多长时间?5.已知(7,4)循环码的生成多项式 ,求:(1)求该码的编码效率?(2)求其对应的一致校验多项式(3)写出该码的生成矩阵,校验矩阵。(4)若消息码式为 ,求其码字。 模拟试题一答案一、概念简答题(共 10 题,每题 5 分)1.答:离散无记忆信源,等概率分布时熵最大。连续信源,峰值功率受限时,均匀分布的熵最大。平均功率受限时,高斯分布的熵最大。均值受限时,指数分布的熵最大。2.答:平均自信息为表示信源的平均不确定度,也表示平均每个信源消息所提供的信息量。平均互信息为 表示从 Y 获得的关于每个 X 的平均信息量,也表示发 X 前后 Y 的平均不确定性减少的量,还表示通信前后整个系统不确定性减少的量。3.答:等长信源编码定理:对于任意 ,只要 ,则当 L 足够长时必可使译码差错 。变长信源编码定理:只要 ,一定存在一种无失真编码。等长码和变长码的最小平均码长均为 ,编码效率最高可达 100%。4.答:最小错误概率译码准则下,将接收序列译为后验概率最大时所对应的码字。最大似然译码准则下,将接收序列译为信道传递概率最大时所对应的码字。最小距离译码准则下,将接收序列译为与其距离最小的码字。三者关系为:输入为等概率分布时,最大似然译码准则等效于最小错误概率译码准则。在二元对称无记忆信道中,最小距离译码准则等效于最大似然译码准则。5.答:1)2)令接收序列为 ,则有 , , ,故接收序列应译为 010110。6.答:7.答:平均互信息相对于信源概率分布为上凸函数,相对于信道传递概率分布为下凹函数。平均互信息的最大值为信道容量。8.答:1)2)9.答:P1 为一一对应确定信道,因此有 。P2 为具有归并性能的信道,因此有 。P3 为具有发散性能的信道,因此有 。10.答:二、综合题(共 5 题,每题 10 分)1.答:1)由 得极限概率:则符号熵为2)新信源共 8 个序列,各序列的概率为信源模型为一种编码结果(依信源模型中的序列次序)为 0,11,1001,1010,1011,10000,100010,1000113)2.答:1)是准对称信道,因此其最佳输入概率分布为 。2)当 , 时,有则3)此时可用最大似然译码准则,译码规则为且有3.答:1)n=6,k=3,由 C=mG 可得所有码字为:000000,001011,010110,011101,100101,101110,110011,1110002)此码是系统码,由 G 知, ,则3)由 H 可知,其任意 2 列线性无关,而有 3 列线性相关,故有 ,能纠一位错。错误图样 E伴随式1000001010100001100010000110001001000000100100000010014)由 知 E010000,则4.答:1)信道容量为信源序列信息量为而 10 秒内信道能传递的信息量为故不能无失真地传送完。2)此时信源序列信息量为信息传输率为则5.答:1)2)3) ,而4)6.答:1)无错传输时,有即则2)在 时,最大熵对应的输入概率密度函数为一、 (15 分)解:(1)由图可知一阶马尔可夫信源的状态空间 ,平稳后信源的2,10AE概率分布就等于一阶马尔可夫信源状态的极限分布,即, ; , ; -)(iiaPEQ3,21iai-(1 分)从状态图中分析可知,这三个状态都是正规常返态,所以此马尔可夫链具有各态历经性,平稳后状态的极限分布存在。可得状态一步转移矩阵,P0-1)2()0()0(1)(QT-(2 分)得: , -3/)(1)(-(2 分)则可得: ; -/1)2()0(pp-(2 分)(2) 一阶马尔可夫信源的熵321()|)iiiHQEHX(0)|(|1(2)|)PPHX,0),333P; -logl(-(4 分)(3) 当 , 当 , ; -0PH1P-(2 分)因为信息熵是表示信源的平均不确定性,题中当 或 时表明信源从某一状态0P1出发转移到另一状态的情况是一定发生或一定不发生,即是确定的事件。当 时,1P从 0 状态一定转移到 2 状态,2 状态一定转移到 1 状态,1 状态一定转移到 0 状态。所以不论从何状态起信源输出的序列一定是 021021 序列,完全确定的。当 时,0P状态永远处于 0 状态,1 状态永远处于 1 状态,2 状态用于处于 2 状态。信源输出的符号序列也是确定的。所以当 或 时,信源输出什么符号不存在不确定性,完P0全是确定的,因此确定信源的信息熵等于零。 -(4分)二、 (20 分)解:如下图所示, 其中; -PQ1 q2-(2 分)-(2 分)它们都是二元对称离散信道;又因为 , ;1()CHP21()q所以这个和信道容量为:-122212logl()()cipqC-(4 分)其中,Q 1 的利用率 qpCP111 )()(1其中,Q 2 的利用率 -q22-(2 分)由此得: qpqpPaP11243 1121 )()()( )(-(2 分)三、 (12 分)解:要将此信源编码成为 r 元唯一可译变长码,其码字对应的码长)3,21,(),(654321ll必须满足克拉夫特不等式,即; -3232161 rrrrili-(5 分)所以要满足 ,其中 r 是大于或等于 1 的正整数; -23r-(2 分)可见,当 时,不能满足 Kraft 不等式; -1r-(1 分)当 时, ,不能满足 Kraft; -1824-(1 分)当 时 , ,满足 Kraft; -3r2769-(1 分)所以,求得 的最大值下限值等于 3。 -(2 分)四、(15 分) 解:信源的概率分布为:)152,513()isp二元霍夫曼码:00,10,11,010,011; -(7 分)码长:2,2,2,3,3; -(2 分)当信源给定时,二元霍夫曼码是最佳二元码;所以对于概率分布为 的)51,51(信源,其最佳二元码就是二元霍夫曼码。 -(2 分)这二元霍夫曼码一定是三个信源符号的码长为 2(码符号/信源符号) ,另二个信源符号的码长为 3(码符号/信源符号) ,其平均码长最短。因此,上述对概率分布为 信源)152,513(所编的二元霍夫曼码也是概率分布为 信源的最佳二元码。 -)51,51(-(4 分)五、(20 分) 解:令信道输入为 时输出 的转移概率为 ,则最小错误概率译mxy(|)NmPyx码实际上为最大后验概率译码,其中 -)(|)|(ywxPmQyPNMmmNxyPQyw1)|()(-(3 分)对于给定的 和所有的 ,其 必然相同,所以 就可() )|()|(yp化为比较如下式子-)|()|() mNmNxyPQxyP-(3 分)则当先验等概时 上式化为 ,此即最大()|()|(mNmNxyPxy似然译码。-(4 分)所以,当先验等概时,最小错误概率译码与最大似然译码是等价的。-( 2 分)因为 且输入等概,所以由题可知,当收到 判为 时应为错,同理,M 2y1x收到 区间1y中任一序列,判为 也为错。这样:2x; -)1(4321pPPee -(4 分)当收到的序列属于 Y3 时无法判定为 X1 或 X2,但此时必然有错误发生。所以,有错而不能判决的概率为: -
网站客服QQ:2055934822
金锄头文库版权所有
经营许可证:蜀ICP备13022795号 | 川公网安备 51140202000112号