信源熵第二章4Stillwatersrundeep.流静水深流静水深,人静心深人静心深Wherethereislife,thereishope。有生命必有希望。有生命必有希望2.2.1 2.2.1 单符号离散信源的数学模型单符号离散信源的数学模型单符号离散信源的数学模型单符号离散信源的数学模型2.2.2 2.2.2 自信息和信源熵自信息和信源熵自信息和信源熵自信息和信源熵 I I I I、信息量、信息量、信息量、信息量 1 1、自信息量自信息量自信息量自信息量；2 2、联合自信息量联合自信息量联合自信息量联合自信息量；3 3、条件自信息量条件自信息量条件自信息量条件自信息量 IIII、互信息量和条件互信息量、互信息量和条件互信息量、互信息量和条件互信息量、互信息量和条件互信息量 1 1、互信息量；、互信息量；、互信息量；、互信息量；2 2、互信息的性质；、互信息的性质；、互信息的性质；、互信息的性质；3 3、条件互信息量、条件互信息量、条件互信息量、条件互信息量 IIIIII、信源熵、信源熵、信源熵、信源熵 1 1、信源熵；、信源熵；、信源熵；、信源熵；2 2、条件熵；、条件熵；、条件熵；、条件熵；3 3、联合熵、联合熵、联合熵、联合熵2.2.3 信源熵的基本性质和定理信源熵的基本性质和定理2.2.4 平均互信息量平均互信息量2.2.5 各种熵之间的关系各种熵之间的关系2.2 2.2 单单符号离散信源符号离散信源2回顾回顾单符号离散信源的单符号离散信源的信源熵信源熵3离散信源熵离散信源熵H(X) (平均不确定度平均不确定度/平均信息量平均信息量/平均自信息量平均自信息量)定义：定义：信源的平均不确定度信源的平均不确定度H(X)为信源中各个符号为信源中各个符号不确定度的数学期望，即：不确定度的数学期望，即：单位为单位为比特比特/ /符号符号或比特或比特/ /符号序列符号序列 信源熵信源熵4信源熵信源熵条件熵条件熵联合自信息量联合自信息量信源熵信源熵52.2.1 单符号离散信源的数学模型单符号离散信源的数学模型2.2.2 自信息和信源熵自信息和信源熵I I、信息量、信息量1、自信息量自信息量；2、联合自信息量联合自信息量；3、条件自信息量条件自信息量II、互信息量和条件互信息量、互信息量和条件互信息量1、互信息量；、互信息量；2、互信息的性质；、互信息的性质；3、条件互信息量、条件互信息量III、信源熵、信源熵1、信源熵；、信源熵；2、条件熵；、条件熵；3、联合熵、联合熵2.2.3 2.2.3 信源熵的基本性质和定理信源熵的基本性质和定理信源熵的基本性质和定理信源熵的基本性质和定理2.2.4 2.2.4 平均互信息量平均互信息量平均互信息量平均互信息量2.2.5 2.2.5 各种熵之间的关系各种熵之间的关系各种熵之间的关系各种熵之间的关系2.2 2.2 单单符号离散信源符号离散信源62.2.3 信源熵的基本性质和信源熵的基本性质和定理定理71. 1. 非负性非负性 H(X)H(p1，p2，pn)0式中等号只有在式中等号只有在pi =1时成立。时成立。2. 对称性对称性 H(p1，p2，pn) = H(p2，p1，pn)例如：下列信源的熵都是相等的例如：下列信源的熵都是相等的熵函数的性质熵函数的性质83. 确定性 H(X)H(p1，p2，pn)0只要信源符号中有一个符号出现概率为只要信源符号中有一个符号出现概率为1，信，信源熵就等于零。源熵就等于零。4. 4. 极值性极值性(香农辅助定理香农辅助定理)对任意两个消息数相同的信源对任意两个消息数相同的信源 熵函数的性质熵函数的性质95.最大熵定理最大熵定理 离散无记忆信源输出离散无记忆信源输出M个不同的信息符号个不同的信息符号,当且仅当且仅当各个符号出现概率相等时即当各个符号出现概率相等时即( pi1/M)熵最大熵最大。6.条件熵小于无条件熵条件熵小于无条件熵 熵函数的性质熵函数的性质10假假设一条电线上串联了设一条电线上串联了8个灯泡个灯泡x1, x2，x8，如如图，这图，这8个灯泡损坏的概率相等个灯泡损坏的概率相等p(xi) = 1/8，现假，现假设只有一个灯泡已损坏，致使串联灯泡都不能点设只有一个灯泡已损坏，致使串联灯泡都不能点亮。亮。未测量前未测量前,8,8个灯个灯泡都有可能损坏泡都有可能损坏,它们损坏的它们损坏的先验先验概率概率: p(xi)=1/8。 这时存在的不确定性：这时存在的不确定性：例例2-9:11第第1次测量后，可知次测量后，可知4个灯泡是好的，另个灯泡是好的，另4个灯泡中有一个是个灯泡中有一个是坏的，这时坏的，这时后验概后验概率率p(xi|y) =1/4。 尚存在的不确定性尚存在的不确定性所所获得的信息量获得的信息量就是测量前后就是测量前后不确定性减少的量不确定性减少的量, , 第第1次次测量获得的信息量：测量获得的信息量：12第第2次测量后变成猜测哪次测量后变成猜测哪2个灯泡中一个是损坏的个灯泡中一个是损坏的,这时这时后验概率后验概率为：为： p(xi|yz) = 1/2 尚存在的不确定性：尚存在的不确定性： 第第2次次测量获得的信息量：测量获得的信息量：第第3次测量完全消除了不确定性，能获知哪个灯次测量完全消除了不确定性，能获知哪个灯泡是坏了的。尚存在的不确定性等于泡是坏了的。尚存在的不确定性等于零零。 第第3次次测量获得的信息量：测量获得的信息量：13信源消息信源消息 x1 x2x3x4x5x6x7x8先验概率先验概率 1/81/81/81/81/81/81/81/8后后验验概概率率第第1次测量次测量y1/41/41/41/4第第2次测量次测量z1/21/2第第3次测量次测量w1要从要从8个等可能损坏的个等可能损坏的串联灯泡中确定哪个灯串联灯泡中确定哪个灯泡是坏的，至少要获得泡是坏的，至少要获得3个个bit的信息量的信息量 14方法方法方法方法2 2：逐个检查：逐个检查：逐个检查：逐个检查第第1次次:x1坏，获得信息量坏，获得信息量=3bit,可能性较小可能性较小1/8；x1通，其余通，其余7只中只中1只坏只坏,坏灯泡的不确定性：坏灯泡的不确定性：log27=2.8073bit获得信息量获得信息量=3-2.8073=0.1927bit，可能性较大，可能性较大7/8第第1次所获得的平均信息量次所获得的平均信息量: “对半开对半开” 第第1 1次所获得的平均信息量次所获得的平均信息量: : 152.2.4 平均互信息量平均互信息量16平均互信息平均互信息平均互信息平均互信息定义定义 信息信息= 先验不确定性后验不确定性先验不确定性后验不确定性 = 不确定性减少的量不确定性减少的量Y未知，未知，X 的不确定度为的不确定度为H(X)Y已知，已知，X 的不确定度变为的不确定度变为H(X |Y)17有扰信道有扰信道干扰源干扰源信源信源X信宿信宿Y通信系统中通信系统中,若发端的符号为若发端的符号为X，收端的符号为，收端的符号为Y如果是如果是一一对应信道，一一对应信道，接收到接收到Y后后,对对X的不确的不确定性将完全消除：定性将完全消除：H(X|Y) = 0一般情况：一般情况： H(X |Y) H(X)，即了解即了解Y后对后对X 的不确定度的将的不确定度的将减少减少通过信道传输消除了一些不确定性，获得了一定通过信道传输消除了一些不确定性，获得了一定的的信息信息。平均互信息平均互信息18平均互信息平均互信息平均互信息的另一种定义方法： 192.2.5 各种熵之间的关系各种熵之间的关系20平均互信息与各类熵的关系平均互信息与各类熵的关系 熵只是平均不确定性的描述熵只是平均不确定性的描述;不确定性的消除不确定性的消除(两熵之差两熵之差)才等于接收端所获得才等于接收端所获得的信息量。的信息量。 获得的信息量不应该和不确定性混为一谈获得的信息量不应该和不确定性混为一谈 21维拉图维拉图 H(X|Y)H(X)H(Y)H(XY)H(Y|X)I(X;Y)联合熵22小小小小 结结结结第二章第二章4小 结回顾信源熵的定义、条件熵的定义、联合回顾信源熵的定义、条件熵的定义、联合熵的定义。熵的定义。对习题进行讲解，进一步地加深对信源熵对习题进行讲解，进一步地加深对信源熵的理解。的理解。根据单符号离散信源的数学模型，从整体根据单符号离散信源的数学模型，从整体的角度出发，得出平均互信息。的角度出发，得出平均互信息。24本次课结束！25