一副充分洗乱的牌(含52张)，试问：(1)任一特定排列所给出的不确定性是多少(2)随机抽取13张牌，13张牌的点数互不相同时的不确定性是多少解：(1)52张扑克牌可以按不同的顺序排列，所有可能的不同排列数就是全排列种数，为P522528.0661067因为扑克牌充分洗乱，任一特定排列出现的概率相等，设事件A为任一特定排列，则其发生概率为168PA1.241052可得，该排列发生所给出的信息量为IAlog2PAlog252225.58bit67.91dit(2)设事件B为从中抽取13张牌，所给出的点数互不相同。扑克牌52张中抽取13张，不考虑排列顺序，共有C53种可能的组合。13张牌点数413。因为每种组合都是等互不相同意味着点数包括A,2,，K,而每一种点数有4种不同的花色意味着每个点数可以取4中花色。所以13张牌中所有的点数都不相同的组合数为概率发生的，所以413C52413 1339521.0568 10 4则发生事件B所得到的信息量为IBlogPB10g2113.208bitC523.976dit设在一只布袋中装有100只对人手的感觉完全相同的木球，每只上涂有1种颜色。100只球的颜色有下列三种情况：(1)红色球和白色球各50只；(2)红色球99只，白色球1只;红，黄，蓝，白色各25只。求从布袋中随意取出一只球时，猜测其颜色所需要的信息量。解：猜测木球颜色所需要的信息量等于木球颜色的不确定性。令R“取到的是红球”，W“取到的是白球”Y“取到的是黄球”，B“取到的是蓝球”(1)若布袋中有红色球和白色球各50只，即PR P WI R I W501100 2110g2 2 血21 bit(2)若布袋中红色球99只，白色球1只，即2.657 bit/symbolP Xi log 2Px log 2 6 2.585991PR0.99PW0.01100100IRlog2PR1og20.990.0145bitIW1og2PW1og20.016.644bit(3)若布袋中有红，黄，蓝，白色各25只，即251PRPYPBPW10041IRIYIBIWlog2-2bit设信源为XX2X3X4PX0.2 0.19 0.18 0.17X5X60.16 0.176求 P Xi log 2 P Xi ,井解释为什么log 2log 2 6 ,不满足信源嫡的极值性。解:6P Xilog 2 P Xi0.2log20.20.1910g20.190.1810g20.180.1710g20.170.1610g20.160.1710g20.17不满足极值性的原因是P xi 1.07 1 ,不满足概率的完备性。大量统计表明，男性红绿色盲的发病率为7%女性发病率为如果你问一位男同志是否为红绿色盲，他回答“是或“否”(1)这二个回答中各含多少信息量(2)平均每个回答中含有多少信息量(3)如果你问一位女同志，则答案中含有的平均信息量是多少解：对于男性，是红绿色盲的概率记作P ai7% ,不是红绿色盲的概率记作Pa293%,这两种情况各含的信息量为I a1log 2 1 P a1I a2log 2 1 P a2100log2 3.83 bit100log20.105 bit93平均每个回答中含有的信息量为HAPa1I(a1)Pa2I(a2)7933.830.1051001000.366bit/回答对于女性，是红绿色盲的概率记作p。0.5% ,不是红绿色盲的记作Pb299.5%,则平均每个回答中含有的信息量为HBPhI(h)Pb2I(b2)5,1000995,1000log2log21000510009950.045bit/回答HAHB联合嫡和条件嫡任意三个离散随机变量X、Y和Z,求证:H(XYZ)H(XY)H(XZ)H(X)。H Z,X H X成立，等证明：方法一：要证明不等式HX,Y,ZHX,Y价证明下式成立：H X,Y,ZH X,Y H X,Z H X 0根据嫡函数的定义HX,Y,ZHX,YHX,ZHXp XiyjZk 10gp XiyjZkX Y ZP XyjZk logp XiyjX Y Zp Xi yjZk logp XiZkX Y ZP XiyjZk logp xX Y Zp xyjZk p Xip XiyjZk logx y zp xyj p XiZkp Xiyj p XZklog ep XiyjZk X Y zp XiyjZk p x(信息论不等式)log ep Xyj p XiZk p xyjZkX Y Zp XiX Y Zlog ep yj | Xi p XiZkX Y Zp xyjZkX Y Zloge110所以HX,Y,ZHX,YHX,Z等号成立的条件为pxiyjpXZkpXipxyjZk得证方法二：因为H(XYZ)H(XY)H(Z|XY)H(XZ)H(X)H(Z|X)所以，求证不等式等价于H(Z|XY)H(Z|X)因为条件多的嫡不大于条件少的嫡，上式成立，原式得证。设随机变量Xxi,X20,1和Yyi,y20,1的联合概率空间为XY(X1,y1)(X1,y2)(X2,y1)诲小)Ry18383818定义一个新随机变量ZXY(普通乘积)。(1)计算嫡H(X)、H(Y)、H(Z)、H(XZ)、H(YZ)以及H(XYZ);(2)计算条件嫡H(X|Y)、H(Y|X)、H(X|Z)、H(Z|X)、H(Y|Z)、H(Z|Y)、H(X|YZ)、H(Y|XZ)以及H(Z|XY)；(3)计算互信息量I(X;Y)、I(X;Z)、I(Y;Z)、I(X;Y|Z)、I(Y;Z|X)以及I(X;Z|Y);解(1)0,ypx0,y可得Z由p(xz)p(x0,zp(x0,zP(x1,zP(x1,zPxilogPxibit/symbolP(zP(z0)1)0,yPx1,yP(xy1P(zXY的概率空间如下00)0)P(xyP(Z)logPV01)P(xybit/symbol10)2H(Z)p(Zk)KP(x)P(zx)得0)1)0)1)P(xp(xp(xp(x0)P(z0)P(z1)P(z1)P(z810g0)1)1)1.1、log-)880.544bit/symbolp(xp(x1)p(y1)p(y0x1)p(x1,y1x1)p(x1,y0)1)3818H(XZ)P(XZk)113311logloglog2288881.406bit/symbol由对称性可得H(YZ)1.406bt/symbol由p(xyz)p(xy)p(zxy),又p(zxy)或者等于1,或者等于0.p(x 0, y 0,z 0)1P(x0,y0)P(z0x0,y0)P(x0,y0)18P(x0,y0,z1)p(xP(x0,y1,z0)p(xP(x0,y1,z1)p(xP(x1,y0,z0)p(xP(x1,y0,z1)p(xP(x1,y1,z0)p(xP(x1,y1,z1)p(x0,y0)p(z1x0,y0,y1)p(z0x0,y0,y1)p(z1x0,y1,y0)p(z0x1,y1,y0)p(z1x1,y1,y1)p(z0x1,y1,y1)p(z1x1,y10)-00831)P(x0,y1)1-31)-00830)P(x1,y0)1-30)-00811)-00811)P(x1,y1)1-H(XYZ)P(xyjzk)log2P(xyjzjijk1133log log 88 883311log log 一88881.811 bit / symbol(2)HXY1log1 310g3 310g388 88 881.1Tog 一1.811bit /symbolH X /Y =H XY -H Y1.811 1 0.811bit/symbol根据对称性,HY/X=HX|Y0.811bit/symbolH X/Z =h XZ -h Z1.4060.5440.862bit/symolHZ/X=HXZ-HX1.40610.406bit/symol根据对称性,HY/Z=HX/Z0.862bit/symbolH Z/Y =H Z/X0.406bit / symolH X/YZ =H XYZ -H YZ 1.8111.4060.405bit / symol根据对称性，把X和丫互换得H Z /XY=H XYZ-HH Y/XZ =HXY 1.811X/YZ1.8110.405bit / symbolObit / symolI X;YX/Y0.8110.189bit / symbolI X;ZX /Z0.8620.138bit / symbol根据对称性,I X;Y/ZX/ZI Y;Z/XY/XY；ZI X;Z0.138bit / symbolH X /YZ 0.862H Y/XZ 0.8110.405 0.457bit / symbol0.405 0.406bit / symbol根据对称性得I X;Z/Y I Y;Z/X0.406bit / symbol设信源发出二次扩展消息Xiyi,其中第一个符号为A、RC三种消息，第二个符号为DE、F、G四种消息，概率P（Xi）和PlyJxi）如下:p(x)ABC1/21/31/6D1/43/101/6p(y/xi)E1/41/51/2F1/41/51/6G1/43/101/6求二次扩展信源的联合嫡H(X，Y)O解：联合概率为P(Xi,yj)p(yj|x”p(xi)可得X,Y的联合概率分布如下：P(xiyi)ABC