资源预览内容
第1页 / 共10页
第2页 / 共10页
第3页 / 共10页
第4页 / 共10页
第5页 / 共10页
第6页 / 共10页
第7页 / 共10页
第8页 / 共10页
第9页 / 共10页
第10页 / 共10页
亲,该文档总共10页全部预览完了,如果喜欢就下载吧!
资源描述
清楚几种关系:清楚几种关系:1、联合自信息量与“自信息量、条件自信息量”的关系注:这种关系可通过“联想记忆联想记忆”即:p(ab)=p(a)*p(b/a);p(ab)=p(b)*p(a/b);2、互信息量与“自信息量、条件自信息量、联合自信息量”的关系3、平均互信息量与“平均自信息量(信源熵)、条件熵、联合熵”的关系(掌握证明证明)清楚几种符号:清楚几种符号:I(ai)、I(ai/bi)、I(aibi)自信息量、条件自信息量、联合自信息量I(ai;bi)互信息量H(A)、H(A/B)、H(AB)信源熵(自信息量的统计平均)、条件熵、联合熵I(A;B)平均互信息量(互信息量的统计平均)注:信息量的计算I(x)=log1/p(x); 由“概率”可求“信息量”! 即:以“概率”来模拟“信息量” 一、自信息量 自信息量、联合自信息量、条件自信息量注:这种关系可通过“联想记忆联想记忆”即:p(ab)=p(a)*p(b/a);p(ab)=p(b)*p(a/b);二、互信息量互信息量、条件互信息量互信息量与自信息量、联合自信息量、条件自信息量的关系:互信息量与自信息量、联合自信息量、条件自信息量的关系:注:比互信息量多了一个注:比互信息量多了一个“小尾巴小尾巴”三、熵(平均自信息量),即:自信息量的“统计平均”注:熵注:熵平均自信息量平均自信息量所有自信息量的平均值所有自信息量的平均值!证明题:等概分布下的信源熵最大.f(变量变量)的的均值均值=f(变量的均值变量的均值)四、平均互信息量,即:互信息量的“统计平均”证明:证明:四、四、 (5)证明:证明:平均互信息量同信息熵之间满足I(X;Y)=H(X)+H(Y)-H(XY)证明:证明:(2分) YXHXHyxpyxpxpyxpxpyxpyxpYXIXXYjiji YijiXYiji ji logloglog;同理(1分) XYHYHYXI;则 YXIYHXYH;因为(1分) XYHXHXYH故 YXIYHXHXYH;即(1分) XYHYHXHYXI;
网站客服QQ:2055934822
金锄头文库版权所有
经营许可证:蜀ICP备13022795号 | 川公网安备 51140202000112号