连续信源及信源熵连续信源及信源熵(4) 3.6 连续信源及信源熵连续信源及信源熵3.6.1 一些基本概念一些基本概念3.6.2 连续信源的熵连续信源的熵 3.6.3 几种特殊连续信源的熵几种特殊连续信源的熵3.6.4 连续熵的性质连续熵的性质 3.6.5 最大连续熵定理最大连续熵定理 l l3.6.1 一些基本概念一些基本概念l l(1) 连续信源定义连续信源定义l l(2) 随机过程及其分类随机过程及其分类l l(3) 通信系统中的信号通信系统中的信号l(4) 平稳遍历的随机过程平稳遍历的随机过程 （1） 连续信源定义连续信源定义l l连续信源：连续信源：输出消息在时间和取值上都连输出消息在时间和取值上都连续的信源。续的信源。l l例子：语音、电视等。例子：语音、电视等。 连续信源输出的消息是随机的，与随机过连续信源输出的消息是随机的，与随机过程程x(t)相对应。可用相对应。可用有限维概率密度函有限维概率密度函数数描述。描述。(2) 随机过程及其分类随机过程及其分类l l 随机过程随机过程l l 随机过程的分类随机过程的分类 随机过程随机过程随机过程随机过程l随机过程定义：随机过程随机过程定义：随机过程x(t)可以看成可以看成由一系列时间函数由一系列时间函数xi(t)所组成，其中所组成，其中i=1,2,3,，并称，并称xi(t)为样本函数。为样本函数。 随机过程的分类随机过程的分类l l可以分为两类：根据统计特性，连续随机可以分为两类：根据统计特性，连续随机过程可分为过程可分为平稳平稳与与非平稳非平稳随机过程两大类。随机过程两大类。 (3) 通信系统中的信号通信系统中的信号l l一般认为，一般认为，通信系统中的信号都是平稳的通信系统中的信号都是平稳的随机过程随机过程。(4) 平稳遍历的随机过程 随机过程随机过程随机过程随机过程 x x( (t t) )中某一样本函数中某一样本函数中某一样本函数中某一样本函数x x( (t t) )的的的的时间平均时间平均时间平均时间平均值值值值定义：定义：定义：定义：l l统计平均值统计平均值统计平均值统计平均值：l l遍历的随机过程：时间平均与统计平均相等，遍历的随机过程：时间平均与统计平均相等，遍历的随机过程：时间平均与统计平均相等，遍历的随机过程：时间平均与统计平均相等，即即即即 3.6.2 连续信源的熵连续信源的熵l l(1) 计算连续信源熵的两种方法计算连续信源熵的两种方法l l(2) 连续信源的熵连续信源的熵l l(3) 连续信源的联合熵、条件熵连续信源的联合熵、条件熵 (1) 计算连续信源熵的两种方法计算连续信源熵的两种方法l l第一种方法：把连续消息经过第一种方法：把连续消息经过时间抽样和时间抽样和幅度量化幅度量化变成离散消息，再用前面介绍的变成离散消息，再用前面介绍的计算离散信源的方法进行计算。即把连续计算离散信源的方法进行计算。即把连续消息变成离散消息求信源熵消息变成离散消息求信源熵 l第二种方法：通过时间抽样把连续消息变第二种方法：通过时间抽样把连续消息变换成时间离散的函数，它是未经幅度量化换成时间离散的函数，它是未经幅度量化的抽样脉冲序列，可看成是的抽样脉冲序列，可看成是量化单位量化单位x趋趋近于零近于零的情况来定义和计算连续信源熵。的情况来定义和计算连续信源熵。 (2) 连续信源的熵连续信源的熵l l 单变量连续信源数学模型单变量连续信源数学模型l l 连续信源的熵连续信源的熵l l 举例举例l l 连续信源熵的意义连续信源熵的意义 单变量连续信源数学模型单变量连续信源数学模型l l单变量连续信源数学模型单变量连续信源数学模型 连续信源的熵连续信源的熵 连续信源的熵连续信源的熵 举举 例例l若连续信源的统计特性为均匀分布的概率密度若连续信源的统计特性为均匀分布的概率密度函数函数 当当(b-a)1时，时，Hc(X)0，为负值，即，为负值，即连续熵连续熵不具备非负性不具备非负性。 l l连续信源熵的意义连续信源熵的意义1 1）连续信源熵并不是实际信源输出的绝对熵，是相）连续信源熵并不是实际信源输出的绝对熵，是相）连续信源熵并不是实际信源输出的绝对熵，是相）连续信源熵并不是实际信源输出的绝对熵，是相对熵对熵对熵对熵2 2）连续信源的绝对熵还有一项正的无限大量，虽然）连续信源的绝对熵还有一项正的无限大量，虽然）连续信源的绝对熵还有一项正的无限大量，虽然）连续信源的绝对熵还有一项正的无限大量，虽然loglog2 2( (b b- -a a) )小于小于小于小于0 0，但两项相加还是正值，且一般，但两项相加还是正值，且一般，但两项相加还是正值，且一般，但两项相加还是正值，且一般还是一个无限大量。因为连续信源的可能取值数还是一个无限大量。因为连续信源的可能取值数还是一个无限大量。因为连续信源的可能取值数还是一个无限大量。因为连续信源的可能取值数有无限多，若假定等概率，确知其输出值后所得有无限多，若假定等概率，确知其输出值后所得有无限多，若假定等概率，确知其输出值后所得有无限多，若假定等概率，确知其输出值后所得信息量也将为无限大；信息量也将为无限大；信息量也将为无限大；信息量也将为无限大；3）Hc(X)不能代表信源的平均不确定度，也不能代不能代表信源的平均不确定度，也不能代表连续信源输出的信息量表连续信源输出的信息量 4）这种定义可以与离散信源在形式上统一起）这种定义可以与离散信源在形式上统一起来；来；5）在实际问题中常常讨论的是熵之间的差值）在实际问题中常常讨论的是熵之间的差值问题，如信息变差、平均互信息等。在讨问题，如信息变差、平均互信息等。在讨论熵差时，两个无限大量互相抵消。所以论熵差时，两个无限大量互相抵消。所以熵差具有信息的特征；熵差具有信息的特征；(5) 连续信源的联合熵和条件熵连续信源的联合熵和条件熵 两个连续变量的联合熵两个连续变量的联合熵 两个连续变量的条件熵两个连续变量的条件熵 3.6.3 几种特殊连续信源的熵几种特殊连续信源的熵l l(1) 均匀分布的连续信源的熵均匀分布的连续信源的熵l l(2) 高斯分布的连续信源的熵高斯分布的连续信源的熵l(3) 指数分布的连续信源的熵指数分布的连续信源的熵 (1) 均匀分布的连续信源的熵均匀分布的连续信源的熵 l l一维连续随机变量一维连续随机变量X在在a,b区间内均匀分区间内均匀分布时的熵为布时的熵为 Hc(X)=log2(b-a) 若若N维矢量维矢量X=(X1X2XN)中各分量彼此统计独中各分量彼此统计独立，且分别在立，且分别在a1,b1a2,b2 aN,bN的区域的区域内均匀分布，即内均匀分布，即 (2) 高斯分布的连续信源的熵高斯分布的连续信源的熵 l一维随机变量一维随机变量X的取值范围是整个实数轴的取值范围是整个实数轴R，概概率密度函数呈正态分布，即率密度函数呈正态分布，即 l这个连续信源的熵为这个连续信源的熵为 (3) 指数分布的连续信源的熵l若一维随机变量若一维随机变量X的取值区间是的取值区间是0,)，其概，其概率密度函数为率密度函数为 3.6.4 连续熵的性质连续熵的性质l l(1) 连续熵可为负值连续熵可为负值l l(2) 连续熵的可加性连续熵的可加性l l(3) 平均互信息的非负性平均互信息的非负性l(4) 平均互信息的对称性和数据处理定理平均互信息的对称性和数据处理定理 3.6.5 最大连续熵定理最大连续熵定理 在不同的限制条件下，信源的最大熵也不同。在不同的限制条件下，信源的最大熵也不同。l l(1) 限限峰值功率峰值功率的最大熵定理的最大熵定理l l(2) 限限平均功率平均功率的最大熵定理的最大熵定理l(3) 均值受限均值受限条件下的最大熵定理条件下的最大熵定理 (1) 限限峰值功率峰值功率的最大熵定理的最大熵定理l l 限限峰值功率峰值功率的最大熵定理的最大熵定理l l 证明过程证明过程l l 说明说明 限限峰值功率峰值功率的最大熵定理的最大熵定理 若代表信源的若代表信源的N维随机变量的取值被限制在维随机变量的取值被限制在一定的范围之内，则一定的范围之内，则在有限的定义域内，在有限的定义域内，均匀分布均匀分布的连续信源具有最大熵。的连续信源具有最大熵。 证明过程证明过程证明过程证明过程l l设设设设N N维随机变量维随机变量维随机变量维随机变量 定义定义q(x)为除均匀分布以外的其它任意概率密为除均匀分布以外的其它任意概率密度函数度函数Hc cp(x),X表示表示均匀分布均匀分布连续信源的熵连续信源的熵Hc cq(x),X表示表示任意分布任意分布连续信源的熵连续信源的熵 l l 说说 明明l l在实际问题中，常令在实际问题中，常令bi i0,ai i=-bi i, i=1,2,N。这种定义域边界的平移并不影响信源的总这种定义域边界的平移并不影响信源的总体特性，因此不影响熵的取值；体特性，因此不影响熵的取值；l l此时，随机变量此时，随机变量Xi i(i=1,2, ,N)的取值就的取值就被限制在被限制在bi i之间，峰值就是之间，峰值就是bi i；l l如果把取值看作输出信号的幅度，则相应如果把取值看作输出信号的幅度，则相应的峰值功率为的峰值功率为2bi i； l l所以上述定理被称为峰值功率受限条件下所以上述定理被称为峰值功率受限条件下所以上述定理被称为峰值功率受限条件下所以上述定理被称为峰值功率受限条件下的最大连续熵定理，简称的最大连续熵定理，简称的最大连续熵定理，简称的最大连续熵定理，简称限峰值功率的最限峰值功率的最限峰值功率的最限峰值功率的最大熵定理大熵定理大熵定理大熵定理。此时最大熵值为。此时最大熵值为。此时最大熵值为。此时最大熵值为(2) 限限平均功率平均功率的最大熵定理的最大熵定理 l l 限限平均功率平均功率的最大熵定理的最大熵定理l l 证明过程证明过程l 说明说明 限限平均功率平均功率的最大熵定理的最大熵定理l l 若信源输出信号的平均功率若信源输出信号的平均功率P和均值和均值m被限定，则输出信号幅度的概率密度函数被限定，则输出信号幅度的概率密度函数为为高斯分布高斯分布时，信源具有最大熵值。时，信源具有最大熵值。 证明过程证明过程证明过程证明过程l单变量连续信源单变量连续信源X呈高斯分布时的概率密呈高斯分布时的概率密度函数为度函数为 l l对平均功率和均值的限制就等于对方差的限制；对平均功率和均值的限制就等于对方差的限制；对平均功率和均值的限制就等于对方差的限制；对平均功率和均值的限制就等于对方差的限制；l l把平均功率受限的问题变成方差受限的问题来讨把平均功率受限的问题变成方差受限的问题来讨把平均功率受限的问题变成方差受限的问题来讨把平均功率受限的问题变成方差受限的问题来讨论；论；论；论；l l把平均功率受限当成是把平均功率受限当成是把平均功率受限当成是把平均功率受限当成是mm=0=0情况下，方差受限的情况下，方差受限的情况下，方差受限的情况下，方差受限的特例特例特例特例。l l定义高斯分布的连续信源的熵记为定义高斯分布的连续信源的熵记为定义高斯分布的连续信源的熵记为定义高斯分布的连续信源的熵记为H Hc c p p( (x x), ),X X l l定义任意分布的连续信源的熵记为定义任意分布的连续信源的熵记为定义任意分布的连续信源的熵记为定义任意分布的连续信源的熵记为H Hc c q q( (x x), ),X X l l已知已知已知已知HcHc p p( (x x), ),X X=(1/2)log=(1/2)log2 2(2(2ee) )l l任意分布的连续信源的熵为任意分布的连续信源的熵为任意分布的连续信源的熵为任意分布的连续信源的熵为 l 说说 明明l当连续信源输出信号的均值为零、平均功率受限当连续信源输出信号的均值为零、平均功率受限时，只有信源输出信号的幅度呈高斯分布时，才时，只有信源输出信号的幅度呈高斯分布时，才会有最大熵值。会有最大熵值。l两种功率受限情况与噪声比较两种功率受限情况与噪声比较 峰值功率受限、均匀分布的连续信源熵最大峰值功率受限、均匀分布的连续信源熵最大； 平均功率受限、均值为零高斯分布的连续信源熵平均功率受限、均值为零高斯分布的连续信源熵最大最大； 在这两种情况下，信源的统计特性与两种常见噪在这两种情况下，信源的统计特性与两种常见噪声声均匀噪声和高斯噪声的统计特性相一致。均匀噪声和高斯噪声的统计特性相一致。 从概念上讲这是合理的，因为噪声是一个最不确从概念上讲这是合理的，因为噪声是一个最不确定的随机过程，而最大的信息量只能从最不确定定的随机过程，而最大的信息量只能从最不确定的事件中获得。的事件中获得。 （3）均值受限的最大熵定理）均值受限的最大熵定理l连续信源的均值受到限制时，则输出信号连续信源的均值受到限制时，则输出信号的幅度呈的幅度呈指数分布指数分布时达到最大熵。时达到最大熵。l证明（课后自己练习）证明（课后自己练习） 3.6.6 熵功率熵功率l l熵功率的定义熵功率的定义l l信源剩余度信源剩余度 l熵功率定义熵功率定义 若平均功率为若平均功率为P的非高斯分布的信源具的非高斯分布的信源具有熵有熵h(X)，称熵也为，称熵也为h(X)的高斯信源的高斯信源的平均功率称为熵功率。的平均功率称为熵功率。 l连续信源的剩余度连续信源的剩余度