资源预览内容
第1页 / 共12页
第2页 / 共12页
第3页 / 共12页
第4页 / 共12页
第5页 / 共12页
第6页 / 共12页
第7页 / 共12页
第8页 / 共12页
第9页 / 共12页
第10页 / 共12页
亲,该文档总共12页,到这儿已超出免费预览范围,如果喜欢就下载吧!
资源描述
3.1 设信源图3.1 二元信道1/63/41/45/6x1y1y2x2 =通过一干扰信道,接收符号Y=,信道传递概率如图3.33所示。求:(1) 信源X中事件x1,和x2分别含有的自信息。(2) 收到消息yj(j=1,2)后,获得的关于xi(i=1,2)的信息量。(3) 信源X和信源Y的信息熵。(4) 信道疑义度H(X|Y)和噪声熵H(Y|X)。(5) 接收到消息Y后获得的平均互信息。解:(1)由定义得:I(X1)= log0.6=0.74bit I(X2)= log0.4=1.32bit (2)P(y1)= 0.65/60.43/4=0.8 P(y2)= 0.61/60.41/4=0.2I(xi;xj)= I(xi)I(xi|yj)=logP(xi|yj)/p(xi) = logP(yj|xi)/p(yj)则 I(x1;y1)= logP(y1|x1)/p(y1)=log5/6/0.8=0.059bit I(x1;y2)= logP(y2|x2)/p(y2)=log1/6/0.2=-0.263bit I(x2;y1)= logP(y1|x2)/p(y1)=log3/4/0.8=-0.093bitI(x2;y2)= logP(y2|x2)/p(y2)=log1/4/0.2=0.322bit (3)由定义显然 H(X)=0.97095bit/符号H(Y)=0.72193bit/符号 (4)H(Y|X)=P(xy)log1/P(y|x)=p(xi)P(yj|xi)log1/P(yj|xi)=0.65/6log6/5+0.61/6log6+0.43/4log4/3+0.41/4log4=0.7145bit/符号 H(X|Y)= H(X)+H(Y|X)H(Y)=0.9635bit/符号(5) I(X;Y)= H(X)H(X|Y)=0.00745 bit/符号3.2设8个等概率分布的消息通过传递概率为p的BSC进行传送。八个消息相应编成下述码字: M1=0000, M2=0101, M3=0110, M4=0011, M5=1001, M6=1010, M7=1100, M8=1111,试问 (1) 接受到第一个数字0与M之间的互信息。 (2) 接受到第二个数字也是0时,得到多少关与M的附加互信息。 (3) 接受到第三个数字仍是0时,又增加多少关与M的互信息。 (4) 接受到第四个数字还是0时,再增加了多少关与M的互信息。解: (1 ) I(0;M1)= log P(0|M1)/P(0)=1 bit (2 ) I(00;M1)= log 1/P(00)=2 bit 21=1 bit (3 ) I(000;M1)=3 bit 32=1 bit (4 ) I(0000;M1)=4 bit 43=1 bit3.3 设二元对称信道的传递矩阵为(1) 若,求和;(2) 求该信道的信道容量及其达到信道容量时的输入概率分布。解:(1)已知二元对称信道的传递矩阵,又已知输入的概率分布,可以求得输出Y的概率分别和后验概率。 所以于是,比特/符号(2)此信道为二元对称信道,所以信道容量根据二元对称信道的性质可知,输入符号为等概率分布(即)时信道的信息传输率才能达到这个信道容量值。3.4设有一批电阻,按阻值分70%是2K,30%是5 K;按功耗分64%是1/8W,其余是1/4W。现已知2 K阻值的电阻中80%是1/8W。问通过测量阻值可以平均得到的关于瓦数的信息量是多少?解:根据题意令x11/8W,x21/4W,y12k,y25K,则,且P(x1y1)0.8 P(x2y1)=0.2由P(x1)P(y1)P(x1y1)+P(y2)P(x1y2)P(x2)P(y1)P(x2y1)+P(y2)P(x2y2)得P(x2y2)2.2/3 P(x1y2)0.8/3所以H(XY)P(y1)-P(x1y1)logP(x1y1)-P(x2y1)logP(x2y1)+ P(y2)-P(x1y2)logP(x1y2)-P(x2y2)logP(x2y2) 0.7-0.8log0.8-0.2log0.2+0.3-0.8/3log(0.8/3)-2.2/3log(2.2/3) 0.7 0.258+0.464+0.30.509+0.328 0.505+0.251=0.756H(X) -0.64log0.64-0.36log0.36=0.412+0.531=0.944 I(X;Y)H(X)-H(XY)0.944-0.756=0.1883.7设X,Y是二个相互统计独立的二元随机变量,其取“0”或“1”的概率为等概分布。定义了另一个二元随机变量Z,且Z=XY(一般乘积),计算:解:(1)H(X),H(Y),H(Z)X 0 1 Y 0 1 Z 0 1P(X) 1/2 1/2 P(Y) 1/2 1/2 P(Z) 3/4 1/4H(X)=-1/2log1/2-1/2log1/2=1(比特/符号)H(Y)=-1/2log1/2-1/2log1/2=1(比特/符号)H(Z)=-3/4log3/4-1/4log1/4=0.811(比特/符号)(2) H(XY),H(XZ),H(YZ),H(XYZ)XY 0 0 0 1 P(XY) 1/4 1/4 1/4 1/4H(XY)=-1/4log1/4-1/4log1/4-1/4log1/4-1/4log1/4=2(比特/符号)XZ 0 0 0 1 P(XZ) 3/8 3/8 1/8 1/8H(XZ)=-3/8log3/8-3/8log3/8-1/8log1/8-1/8log1/8=1.811(比特/符号)YZ 0 0 0 1 P(YZ) 3/8 3/8 1/8 1/8H(YZ)=-3/8log3/8-3/8log3/8-1/8log1/8-1/8log1/8=1.811(比特/符号)XYZ 0 0 0 0 0 0 0 1P(XYZ) 3/16 3/16 1/16 1/16 3/16 3/16 1/16 1/16H(XYZ)=(-3/16log3/16)*4+(-1/16log1/16)*4=2.811(比特/符号)(3) H(X|Y),H(X|Z),H(Y|Z),H(Z|X),H(Z|Y)H(X|Y)=H(XY)-H(Y)=2-1=1(比特/符号)H(X|Z)=H(XZ)-H(Z)=1.811-0.811=1(比特/符号)H(Y|Z)=H(YZ)-H(Z)= 1.811-0.811=1(比特/符号)H(Z|X)=H(XZ)-H(X)=1.811-1=0.811(比特/符号)H(Z|Y)=H(ZY)-H(Y) =1.811-1=0.811(比特/符号)(4) H(X|YZ),H(Y|XZ),H(Z|XY)H(X|YZ)=H(XYZ)-H(YZ)=2.811-1.811=1(比特/符号)H(Y|XZ)=H(XYZ)-H(XZ)=2.811-1.811=1(比特/符号)H(Z|XY)=H(XYZ)-H(XY)=2.811-2=0.811(比特/符号)(5)I(X;Y),I(X;Z),I(Y;Z)I(X;Y)=H(X)-H(X|Y)=1-1=0I(X;Z)=H(X)-H(X|Z)=1-1=0I(Y;Z)=H(Y)-H(Y|Z)=1-1=0(6) I(X;Y|Z),I(Y;X|Z),I(Z;X|Y),I(Z;Y|X)I(X;Y|Z)=H(X|Z)-H(X|YZ)=1-1=0I(Y;X|Z)=H(Y|Z)-H(Y|XZ)=1-1=0I(Z;X|Y)=H(Z|Y)-H(Z|XY)=0.811-0.811=0I(Z;Y|X)=H(Z|X)-H(Z|XY)=0.811-0.811=0(7) I(XY;Z),I(X;YZ),I(Y;XZ)I(XY;Z)=I(Z;XY)=I(Z;X)+I(Z;Y|X)=0I(X;YZ)=I(X;Y)+I(X;Z|Y)=0I(Y;XZ)=I(Y;Z)+I(Y;Z|X)=03.8设X,Y是二个相互统计独立的二元随机变量,它们的取值为等概率分布。定义另一个二元随机Z,Z=XY(是模二和运算,即z=0,x=y,xy),试计算:(1) H(X),H(Y),H(Z);(2) H(XY),H(XZ),H(YZ),H(XYZ);(3) H(X|Y),H(X|Z),H(Y|Z),H(Z|X),H(Z|Y);(4) H(X|YZ),H(Y|XZ),H(Z|XY);(5) I(X;Y), I(X;Z), I(Y;Z);(6) I(X;Y|Z), I(Y;X|Z), I(Z;X|Y), I(Z;Y|X);(7) I(XY;Z), I(X;YZ), I(Y;XZ).解:X,Y统计独立,等概率分布 X 0 1 Y 0 1P 0.5 0.5 P 0.5 0.5 Z=XY Z取值也为等概率分布。 (1) H(X)=H(Y)=H(Z)= H(0.5)=0.5log0.50.5log0.5=1 bit (3) H(X|Y)=0,H(X|Z)= H(Z|X)=0.5 H(Z|0.5)0.5 H(Z|0.5)=1 bit H(Y|Z)= H(Z|Y)=1 bit (2) H(XY)= H(X)H(Y)=2 bit H(XZ)= H(X)H(Z|X)= 2 bit H(YZ)= H(Y)H(Z|Y)= 2 bit H(XYZ)= H(XY)H(Z|XY)=21=3 bit (4) H(X|YZ)= H(XYZ)H(YZ)= 1 bit
网站客服QQ:2055934822
金锄头文库版权所有
经营许可证:蜀ICP备13022795号 | 川公网安备 51140202000112号