精选优质文档-倾情为你奉上第二章 信息的度量习题参考答案 不确定性与信息（2.3）一副充分洗乱的牌（含52张），试问：（1）任一特定排列所给出的不确定性是多少？（2）随机抽取13张牌，13张牌的点数互不相同时的不确定性是多少？ 解：（1）一副充分洗乱的扑克牌，共有52张，这52张牌可以按不同的一定顺序排列，可能有的不同排列状态数就是全排列种数，为 因为扑克牌充分洗乱，所以任一特定排列出现的概率是相等的。 设事件A为任一特定排列，则其发生概率为 可得，任一特定排列的不确定性为 比特 （2）设事件B为从中抽取13张牌，所给出的点数都不同。 扑克牌52张中抽取13张，不考虑其排列顺序，共有种可能的组合，各种组合都是等概率发生的。13张牌中所有的点数都不相同（不考虑其顺序）就是13张牌中每张牌有4种花色，所以可能出现的状态数为413。所以 则事件B发生所得到的信息量为 比特2.4同时扔出两个正常的骰子，也就是各面呈现的概率都是1/6，求：（1）“2和6 同时出现”这事件的自信息量。（2）“两个3同时出现”这事件的自信息量。（3）两个点数的各种组合（无序对）的熵。（4）两个点数之和（即2，3，12构成的子集）的熵。（5）两个点数中至少有一个是1的自信息。解：同时扔两个正常的骰子，可能呈现的状态数有36种，因为两骰子是独立的，又各面呈现的概率为，所以36种中任一状态出现的概率相等，为。（1） 设“2和6同时出现”这事件为A。在这36种状态中，2和6同时出现有两种情况，即2，6和2，6。所以 得 比特（2） 设“两个3同时出现”这个事件为B。在这36种状态中，两个3同时出现只有一种状态，所以 得 比特（3） 设两个点数的各种组合构成信源X。这信源X的符号集A就是这36种状态，并且其为等概率分布。得 所以 比特/状态（4） 设两个点数之和构成信源Z，它是由两个骰子的点数之和组合，即Z=X+Y（一般加法）。 而 所以得 满足 则 比特（5） 在这36种状态中两个点数中至少有一个数是1的状态共有11种，每种状态是独立出现的，每种状态出现的概率是1/36。现设两个点数中至少有一个数是1的事件为C事件，则得 所以 比特2.5设在一只布袋中装有100只对人手的感觉完全相同的木球，每只上涂有1种颜色。100只球的颜色有下列三种情况：（1） 红色球和白色球各50只；（2） 红色球99只，白色球1只；（3） 红，黄，蓝，白色各25只。求从布袋中随意取出一只球时，猜测其颜色所需要的信息量。解：依题意，令R表示事件“取到的是红球”，W表示事件“取到的是白球”，Y表示事件“取到的是黄球”，B表示事件“取到的是蓝球”。（1） 若布袋中有红色球和白色球各50只，即 则 bit （2） 若布袋中红色球99只，白色球1只，即 则 bit bit （3） 若布袋中有红，黄，蓝，白色各25只，即 bit2.4 离散熵（2.6）设信源为，。（1）求信源的熵；（2）信源发出由个“0”和(100-)个“1”构成的序列，求序列的自信息量；（3）比较（1）（2）的计算结果。解：(1) H(X)= = 0.54 bit/符号 (2) 考虑X为DMS I =mlog8+(100-m)log= 3m+(100-m)0.19 =2.81m+19 bit/符号序列 (3) (1) 计算出的值表示每个信源符号的统计平均信息量。 (2)计算出的值表示序列（长度100）的信息量，此时平均每个符号的信息量为 bit/符号。（2.7）设信源为求X的熵，并解释为什么，不满足信源熵的极值性。 解： bit/符号 不满足极值性的原因？（2.8）大量统计表明，男性红绿色盲的发病率为7%，女性发病率为0.5%，如果你问一位男子是否为红绿色盲，他回答“是”或“否”。（1）这二个回答中各含多少信息量?（2）平均每个回答中含有多少信息量?（3）如果你问一位女子，则答案中含有的平均信息量是多少?解：对于男性，是红绿色盲的概率记作，不是红绿色盲的概率记作，这两种情况各含的信息量为 bit bit平均每个回答中含有的信息量为 bit对于女性，是红绿色盲的概率记作，不是红绿色盲的记作，则平均每个回答中含有的信息量为 bit （2.10） 设随机变量X的概率分布为。随机变量Y是X的函数，其分布为将X的4个最小的概率分布合并为一个：（1） 请解释log5H(X)log7，原因； (2) 计算，；(3) 计算 并解释其结果解：（1） 根据熵的极限性，当随机变量等概率分布时，随机变量的熵最大。有7个可能取值的随机变量的最大熵为，随机变量X不是等概率分布，所以H(X)log7。根据熵的渐化性（2） 比特/符号 比特/符号（3） 因为随机变量Y是X的函数，所以 比特/符号2.6 平均互信息及其性质（2.11）设随机变量和的联合概率空间为，定义一个新随机变量（普通乘积）。（1）计算熵、以及；（2）计算条件熵、以及。（3）计算互信息量、以及； 解 （1） bit/符号的概率分布如下 由得由对称性可得（2）H(X|Y)=H(XY)-H(Y)=1.811-1=0.811bit/symbH(Y|X)=H(XY)-H(X)=1.811-1=0.811bit/symbH(X|Z) = H(XZ)-H(Z)=1.406-0.544=0.862bit/symb H(Z|X) = H(XZ)-H(X)=1.406-1=0.406bit/symbH(Y|Z) = H(YZ)-H(Z)=1.406-0.544=0.862bit/symb H(Z|Y) = H(YZ)-H(Y)=1.406-1=0.406bit/symbH(X|YZ) = H(XYZ)-H(YZ)=1.811-1.406=0.405bit/symbH(Y|XZ) = H(XYZ)-H(XZ)=1.811-1.406=0.405bit/symbH(Z|XY) = H(XYZ)-H(XY)=1.811-1.811=0 bit/symb (3)（2.12）任意三个离散随机变量、和，求证： 证明：方法一：利用定义证明。左边=右边= = = = = = = 得证方法二：利用性质证明。因为 所以 可得 得证。（2.13）有一离散无记忆信源，其输出为X0,1,2，相应的概率为p=，p=，p=，设计两个独立试验去观察它，其结果分别为Y0,1 , Y0,1 ，已知条件概率如表3.1所列。(1) 求和，并判断哪一个实验好些；(2) 求并计算做Y和Y两个试验比做Y或Y中的一个实验得多少关于X的信息；(3) 求和,并解释它们的含义。表 3.1p(Y1/X)Y1p(Y2/X)Y20101X010X01010111021/21/2201解：(1)，要求和需要先求,。,要求和需要先求,。由及联合概率分布与边缘概率分布的关系可得及，如表3-2所示，所以 比特/符号比特/符号同样可求出和 如表3.3所示Y201X01/4011/40201/21/21/2Y101X01/40101/421/41/41/21/2表3.2 表3.3因此第二个实验好些。（2） 表3.4 表3.5Y1Y200011011X0100010010201/201/2Y1Y200011011X01/40001001/40201/401/41/41/41/41/4 可以看出：做和两个实验比做一个实验可多得到的信息为做和两个实验比做一个实验可多得到的信息为（3），它表示做完实验以后，从实验可得到关于的信息量。,它表示做完实验以后，从实验可得到关于的信息量。（2.14）若三个离散随机变量、和有如下关系：（普通加法），其中和相互统计独立。试证明：证明：（1）因为Z=+ (2) 则（x,y）=（x,z）,即联合事件和Z的概率空间购成一一映衬。 又因为与相互独立，所以H()=H(|Z) = - = - = - = - = H(z|x) H(z) 同理 H（）H（z） （3）因为与相互独立，所以 H（x,）=H（x）+H（） =H（x）+H（z|x） =H（x，z）