清楚几种关系：清楚几种关系：1、联合自信息量与“自信息量、条件自信息量”的关系注：这种关系可通过“联想记忆联想记忆”即：p(ab)=p(a)*p(b/a);p(ab)=p(b)*p(a/b);2、互信息量与“自信息量、条件自信息量、联合自信息量”的关系3、平均互信息量与“平均自信息量(信源熵)、条件熵、联合熵”的关系(掌握证明证明)清楚几种符号：清楚几种符号：I(ai)、I(ai/bi)、I(aibi)自信息量、条件自信息量、联合自信息量I(ai;bi)互信息量H(A)、H(A/B)、H(AB)信源熵(自信息量的统计平均)、条件熵、联合熵I(A;B)平均互信息量(互信息量的统计平均)注：信息量的计算I(x)=log1/p(x); 由“概率”可求“信息量”！ 即：以“概率”来模拟“信息量” 一、自信息量 自信息量、联合自信息量、条件自信息量注：这种关系可通过“联想记忆联想记忆”即：p(ab)=p(a)*p(b/a);p(ab)=p(b)*p(a/b);二、互信息量互信息量、条件互信息量互信息量与自信息量、联合自信息量、条件自信息量的关系：互信息量与自信息量、联合自信息量、条件自信息量的关系：注：比互信息量多了一个注：比互信息量多了一个“小尾巴小尾巴”三、熵(平均自信息量)，即：自信息量的“统计平均”注：熵注：熵平均自信息量平均自信息量所有自信息量的平均值所有自信息量的平均值!证明题：等概分布下的信源熵最大.f(变量变量)的的均值均值=f(变量的均值变量的均值)四、平均互信息量，即：互信息量的“统计平均”证明：证明：四、四、 （5）证明：证明：平均互信息量同信息熵之间满足I(X;Y)=H(X)+H(Y)-H(XY)证明：证明：（2分） YXHXHyxpyxpxpyxpxpyxpyxpYXIXXYjiji YijiXYiji ji logloglog;同理（1分） XYHYHYXI;则 YXIYHXYH;因为（1分） XYHXHXYH故 YXIYHXHXYH;即（1分） XYHYHXHYXI;