chp033 连续信源及信源熵本节内容3.6.1 3.6.1 一些基本概念一些基本概念 3.6.2 3.6.2 连续信源的熵连续信源的熵 3.6.3 3.6.3 几种特殊连续信源的熵几种特殊连续信源的熵 3.6.4 3.6.4 连续熵的性质连续熵的性质 3.6.5 最大连续熵定理 3.6.1 3.6.1 一些基本概念一些基本概念 (1) (1) 连续信源定义连续信源定义 (2) (2) 随机过程及其分类随机过程及其分类 (3) (3) 通信系统中的信号通信系统中的信号 (4) 平稳遍历的随机过程 （1 1） 连续信源定义连续信源定义 连续信源：连续信源：输出消息在时间和取值上输出消息在时间和取值上 都连续的信源。都连续的信源。 例子：语音、电视等。例子：语音、电视等。连续信源输出的消息是随机的，与随连续信源输出的消息是随机的，与随 机过程机过程 x x( (t t) )相对应。可用相对应。可用有限维概率有限维概率 密度函数密度函数描述。描述。(2) (2) 随机过程及其分类随机过程及其分类 随机过程随机过程 随机过程的分类随机过程的分类 随机过程随机过程 随机过程定义：随机过程x(t)可以看 成由一系列时间函数xi(t)所组成，其 中i=1,2,3,，并称xi(t)为样本函数。 随机过程的分类随机过程的分类 可以分为两类：根据统计特性，连续可以分为两类：根据统计特性，连续 随机过程可分为随机过程可分为平稳平稳与与非平稳非平稳随机过随机过 程两大类。程两大类。(3) (3) 通信系统中的信号通信系统中的信号 一般认为，一般认为，通信系统中的信号都是平通信系统中的信号都是平 稳的随机过程稳的随机过程。(4) (4) 平稳遍历的随机过程平稳遍历的随机过程随机过程随机过程 x x( (t t) )中某一样本函数中某一样本函数x x( (t t) )的的时时 间平均值间平均值定义：定义： 统计平均值统计平均值： 遍历的随机过程：时间平均与统计平均相遍历的随机过程：时间平均与统计平均相 等，即等，即3.6.2 3.6.2 连续信源的熵连续信源的熵(1) (1) 计算连续信源熵的两种方法计算连续信源熵的两种方法 (2) (2) 连续信源的熵连续信源的熵 (3) (3) 连续信源的联合熵、条件熵连续信源的联合熵、条件熵(1) (1) 计算连续信源熵的两种方法计算连续信源熵的两种方法 第一种方法：把连续消息经过第一种方法：把连续消息经过时间抽样和时间抽样和 幅度量化幅度量化变成离散消息，再用前面介绍的变成离散消息，再用前面介绍的 计算离散信源的方法进行计算。即把连续计算离散信源的方法进行计算。即把连续 消息变成离散消息求信源熵消息变成离散消息求信源熵 第二种方法：通过时间抽样把连续消息变 换成时间离散的函数，它是未经幅度量化 的抽样脉冲序列，可看成是量化单位x趋近于零的情况来定义和计算连续信源熵 。 (2) (2) 连续信源的熵连续信源的熵 单变量连续信源数学模型单变量连续信源数学模型 连续信源的熵连续信源的熵 举例举例 连续信源熵的意义连续信源熵的意义 单变量连续信源数学模型单变量连续信源数学模型 单变量连续信源数学模型单变量连续信源数学模型 连续信源的熵连续信源的熵一般为定值0时是一 无限大量 定义连续信源的微分熵为： 举举 例例 若连续信源的统计特性为均匀分布的概率 密度函数 当(b-a)1时，Hc(X)0，为负值，即连续熵 不具备非负性。 * * 连续信源熵有关问题说明连续信源熵有关问题说明 1 1）连续信源熵并不是实际信源输出的绝对熵，是）连续信源熵并不是实际信源输出的绝对熵，是 相对熵相对熵 2 2）连续信源的绝对熵还有一项正的无限大量，虽）连续信源的绝对熵还有一项正的无限大量，虽 然然loglog2 2( (b b- -a a) )小于小于0 0，但两项相加还是正值，且一，但两项相加还是正值，且一 般还是一个无限大量。因为连续信源的可能取般还是一个无限大量。因为连续信源的可能取 值数有无限多，若假定等概率，确知其输出值值数有无限多，若假定等概率，确知其输出值 后所得信息量也将为无限大；后所得信息量也将为无限大； 3）Hc(X)不能代表信源的平均不确定度，也不能 代表连续信源输出的信息量 * * 连续信源熵的意义连续信源熵的意义: : 这种定义可以与离散信源在形式上统一起这种定义可以与离散信源在形式上统一起 来；来； 在实际问题中常常讨论的是熵之间的差值在实际问题中常常讨论的是熵之间的差值 问题，如平均互信息等。在讨论熵差时，问题，如平均互信息等。在讨论熵差时， 两个无限大量互相抵消。所以熵差具有信两个无限大量互相抵消。所以熵差具有信 息的特征；息的特征； 连续信源的熵连续信源的熵HHc c(X(X) )具有相对性，因此具有相对性，因此 HHc c(X(X) )也称为相对熵。也称为相对熵。(3) 连续信源的联合熵和条件熵 两个连续变量的联合 熵 两个连续变量的条件熵 它们之间的关系同离散随机变量类似，参见P43式3.343.363.6.3 3.6.3 几种特殊连续信源的熵几种特殊连续信源的熵 (1) (1) 均匀分布的连续信源的熵均匀分布的连续信源的熵 (2) (2) 高斯分布的连续信源的熵高斯分布的连续信源的熵 (3) 指数分布的连续信源的熵 (1) 均匀分布的连续信源的熵 一维连续随机变量一维连续随机变量X X在在 a,ba,b 区间内均区间内均 匀分布时的熵为匀分布时的熵为Hc(X)=log2(b-a) 若N维矢量X=(X1X2XN)中各分量彼此统 计独立，且分别在a1,b1a2,b2 aN,bN 的区域内均匀分布，即 (2) 高斯分布的连续信源的熵 一维随机变量X的取值范围是整个实数轴R ，概率密度函数呈正态分布，即 这个连续信源的熵为 1、高斯连续信源熵与数学期 望m无关，只与方差有关。2、熵描述的是信源的整体特 性。(3) (3) 指数分布的连续信源的熵指数分布的连续信源的熵 若一维随机变量X的取值区间是0,)， 其概率密度函数为 3.6.4 3.6.4 连续熵的性质连续熵的性质 连续熵可为负值连续熵可为负值 连续熵的可加性连续熵的可加性 平均互信息的非负性平均互信息的非负性 平均互信息的对称性和数据处理定理 (2) 连续熵的可加性 两个变量两个变量H Hc c( (XYXY)=)=H Hc c( (X X)+)+H Hc c( (Y Y/ /X X) )H Hc c( (XYXY)=)=H Hc c( (Y Y)+)+H Hc c( (X X/ /Y Y) )(2) 连续熵的可加性 NN个变量个变量 连续信源的可加性可推广到连续信源的可加性可推广到NN个变量的情况个变量的情况H Hc c( (X X1 1X X2 2XXN N)=)=H Hc c( (X X1 1)+)+H Hc c( (X X2 2/ /X X1 1)+ )+ H Hc c( (X X3 3/ /X X1 1X X2 2)+)+H Hc c( (X XN N/ /X X1 1X X2 2XXN-1N-1) )(3) (3) 平均互信息的非负性平均互信息的非负性条件熵条件熵H Hc c( (X X/ /Y Y) )H Hc c( (Y Y/ /X X) ) 无条件熵无条件熵 H Hc c( (X X) )H Hc c( (Y Y) )平均互信息平均互信息I Ic c( (X X; ;Y Y) )I Ic c( (Y Y; ;X X) )它们之间的关系它们之间的关系I Ic c( (X X; ;Y Y)= )= H Hc c( (X X)- )-H Hc c( (X X/ /Y Y) )I Ic c( (Y Y; ;X X)=)= H Hc c( (Y Y)- )-H Hc c( (Y Y/ /X X) )(4) (4) 对称性和数据处理定理对称性和数据处理定理连续信源的平均互信息也满足对称性，连续信源的平均互信息也满足对称性， 即即I Ic c( (X X; ;Y Y)=)=I Ic c( (Y Y; ;X X) )连续信源也满足数据处理定理。即连续信源也满足数据处理定理。即I Ic c( (X X; ;Z Z)I Ic c( (X X; ;Y Y) )I Ic c( (X X; ;Z Z)I Ic c( (Y Y; ;Z Z) )3.6.5 最大连续熵定理 在不同的限制条件下，信源的最大熵也在不同的限制条件下，信源的最大熵也 不同。不同。 (1) (1) 限限峰值功率峰值功率的最大熵定理的最大熵定理 (2) (2) 限限平均功率平均功率的最大熵定理的最大熵定理 (3) 均值受限均值受限条件下的最大熵定理条件下的最大熵定理 (1) (1) 限限峰值功率峰值功率的最大熵定理的最大熵定理 限限峰值功率峰值功率的最大熵定理的最大熵定理 证明过程证明过程 说明说明 限限峰值功率峰值功率的最大熵定理的最大熵定理 若信源输出的幅度被限定在a，b区域内，则当输出信号的概率密度是均匀分布时， 信源具有最大熵，其值等于log（b-a）。 若当N维随机矢量取值受限时，也只有各随机分量统计独立并均匀分布时具有最大熵 。 证明过程证明过程 设设NN维随机变量维随机变量定义定义q q( (x x) )为除均匀分布以外的其它任意概率密为除均匀分布以外的其它任意概率密度函数度函数H Hc c p p( (x x), ),X X 表示表示均匀分布均匀分布连续信源的熵连续信源的熵H Hc c q q( (x x), ),X X 表示表示任意分布任意分布连续信源的熵连续信源的熵 说说 明明 在实际问题中，常令在实际问题中，常令b bi i0,0,a ai i=-=-b bi i, , i i=1,2,=1,2,NN。这种定义域边界的平移并。这种定义域边界的平移并 不影响信源的总体特性，因此不影响不影响信源的总体特性，因此不影响 熵的取值；熵的取值； 此时，随机变量此时，随机变量X Xi i( (i i=1,2, ,=1,2, ,NN) )的取的取 值就被限制在值就被限制在 b bi i之间，峰值就是之间，峰值就是 b bi i ； 如果把取值看作输出信号的幅度，则如果把取值看作输出信号的幅度，则 相应的峰值功率为相应的峰值功率为2 2b bi i； 所以上述定理被称为峰值功率受限条所以上述定理被称为峰值功率受限条 件下的最大连续熵定理，简称件下的最大连续熵定理，简称限峰值限峰值 功率的最大熵定理功率的最大熵定理。此时最大熵值为。此时最大熵值为(2) 限平均功率的最大熵定理 限限平均功率平均功率的最大熵定理的最大熵定理 证明过程证明过程 说明 限限平均功率平均功率的最大熵定理的最大熵定理 若信源输出信号的平均功率若信源输出信号的平均功率P P被被 限定，则输出信号幅度的概率密度函限定，则输出信号幅度的概率密度函 数为数为高斯分布高斯分布时，信源具有最大熵，时，信源具有最大熵， 其值为其值为1/2log21/2log2 ePeP。 证明过程证明过程 单变量连续信源X呈高斯分布时的概率 密度函数为 对平均功率和均值的限制就等于对方差的限制；对平均功率和均值的限制就等于对方差的限制； 把平均功率受限的问题变成方差受限的问题来讨把平均功率受限的问题变成方差受限的问题来