1信息论与编码信息论与编码 第3章信道和信道容量12信息论与编码信息论与编码 主要内容n3.1信道的基本概念n3.2离散单个符号信道及其容量n3.3离散序列信道及其容量n3.4连续信道及其容量q3.5信源与信道的匹配23信息论与编码信息论与编码 3.1信道分类和表示参数重点：信道矩阵34信息论与编码信息论与编码 信道中存在的干扰使输出信号与输入信号之间没有固定的函信道中存在的干扰使输出信号与输入信号之间没有固定的函数关系，只有统计依赖的关系。因此可以通过研究分析输入输数关系，只有统计依赖的关系。因此可以通过研究分析输入输出信号的统计关系来研究信道。出信号的统计关系来研究信道。一、信道的分类一、信道的分类1、根据用户数量分为、根据用户数量分为 单用户信道：单用户信道：只有一个输入端和一个输出端，信息单向只有一个输入端和一个输出端，信息单向传输。传输。 多用户信道多用户信道：输入端和输出端至少有一方存在两个以上：输入端和输出端至少有一方存在两个以上的用户，信息双向传输。的用户，信息双向传输。2、根据信道输入端和输出端的关系分为、根据信道输入端和输出端的关系分为 无反馈信道：无反馈信道：输出端对输入端没有影响。输出端对输入端没有影响。 反馈信道：反馈信道：输出信号通过一定的途径反馈到输入端，致输出信号通过一定的途径反馈到输入端，致使输入端信号发生变化。使输入端信号发生变化。45信息论与编码信息论与编码 3、根据信道参数与时间的关系分为、根据信道参数与时间的关系分为 固定参数信道：固定参数信道：信道参数（统计特性）不随时间的变信道参数（统计特性）不随时间的变化而变化。例如光纤、电缆等信道。化而变化。例如光纤、电缆等信道。 时变参数信道：时变参数信道：信道参数随时间变化而变化。例如无信道参数随时间变化而变化。例如无线信道。线信道。4、根据信道中所受噪声种类的不同分为、根据信道中所受噪声种类的不同分为 随机差错信道随机差错信道：噪声独立随机地影响每个传输码元。例：噪声独立随机地影响每个传输码元。例如以白噪声为主体的信道。如以白噪声为主体的信道。 突发差错信道突发差错信道：干扰的影响是前后相关的，错误成串出：干扰的影响是前后相关的，错误成串出现。例如衰落信道、码间干扰信道。现。例如衰落信道、码间干扰信道。56信息论与编码信息论与编码 5、根据信道参数与时间的关系分为、根据信道参数与时间的关系分为离散信道离散信道：输入输出信号在时间、幅度上均为离散。：输入输出信号在时间、幅度上均为离散。连续信道：连续信道：信号幅度连续、时间离散。信号幅度连续、时间离散。半离散半连续信道半离散半连续信道：输入输出信号中一个离散、一个连续。：输入输出信号中一个离散、一个连续。波形信道：波形信道：在时间和幅度上均连续，一般可以用随机过在时间和幅度上均连续，一般可以用随机过程来表示。限时限频的随机过程可以分解为离散的随机程来表示。限时限频的随机过程可以分解为离散的随机序列，所以波形信道可以被分解为离散信道、连续信道序列，所以波形信道可以被分解为离散信道、连续信道和半离散半连续信道。和半离散半连续信道。67信息论与编码信息论与编码 二、离散信道的信道参数二、离散信道的信道参数1、基本离散信道（单符号离散信道）、基本离散信道（单符号离散信道）输入输出信号都是取值离散的单个随机变量，可用输入输出信号都是取值离散的单个随机变量，可用信道转移概率信道转移概率 来描述。其中来描述。其中 并满足：并满足：信道转移概率：条件概率信道转移概率：条件概率 其中其中,ai为信道输入，为信道输入，bj 为信道输出。为信道输出。78信息论与编码信息论与编码 单符号离散信道可以用图形描述如下单符号离散信道可以用图形描述如下89信息论与编码信息论与编码 信道矩阵的每一行之和必定等于信道矩阵的每一行之和必定等于1。910信息论与编码信息论与编码 2、一般离散信道（多维离散信道）、一般离散信道（多维离散信道）输入输出信号都是平稳随机矢量，其数学模型可用概率空间输入输出信号都是平稳随机矢量，其数学模型可用概率空间X，p(Y/X)，Y来描述。来描述。其中其中 为输入信号，为输入信号， 为输出信号。为输出信号。 X中中 Y中中其中其中P(Y/X)是信道的传递概率，反映输入和输出信号之间统计依是信道的传递概率，反映输入和输出信号之间统计依赖关系。赖关系。根据信道是否存在干扰以及有无记忆，将信道分为：根据信道是否存在干扰以及有无记忆，将信道分为：1 ）无干扰（噪声）信道：）无干扰（噪声）信道：2 ）有干扰无记忆信道：）有干扰无记忆信道：3）有干扰有记忆信道：）有干扰有记忆信道：1011信息论与编码信息论与编码 1）无干扰（噪声）信道：无干扰（噪声）信道：已知信道输入已知信道输入X就知道信道输出就知道信道输出Y。 无噪无损信道：无噪无损信道：疑义度疑义度H（X/Y）=0，噪声熵，噪声熵H（Y/X）=0 无噪有损信道：无噪有损信道：疑义度疑义度H（X/Y）0，噪声熵，噪声熵H（Y/X）= 0 有噪无损有噪无损信道信道（严格意义上，不能称为无噪声信道）：（严格意义上，不能称为无噪声信道）：疑义度疑义度H（X/Y）= 0，噪声熵，噪声熵H（Y/X）01112信息论与编码信息论与编码 无噪无损信道：输入输出一一对应，信道矩阵为单无噪无损信道：输入输出一一对应，信道矩阵为单位阵位阵1213信息论与编码信息论与编码 无噪有损信道（确定信道）：无噪有损信道（确定信道）：H（X/Y）0，H（Y/X）=0信道输出端接收到某个bj后不能判定是哪个输入符号aj1314信息论与编码信息论与编码 有噪无损信道：有噪无损信道：H（X/Y）=0， H（Y/X）01415信息论与编码信息论与编码 2 ）有干扰无记忆信道：）有干扰无记忆信道： 每个信道输出只与当前输入信号之间有转移概率关系，而每个信道输出只与当前输入信号之间有转移概率关系，而与其它时刻的输入输出信号无关。与其它时刻的输入输出信号无关。 这这种种情况下，不需要矢量形式，情况下，不需要矢量形式，只要分析单个符号的转只要分析单个符号的转移概率移概率p(yi/xi)即可。即可。 离散无记忆信道（离散无记忆信道（DMC） 二进制对称信道（二进制对称信道（BSC）1516信息论与编码信息论与编码 离散无记忆信道离散无记忆信道 (DMC)： 输入和输出信号的符号数大输入和输出信号的符号数大于于2但为有限值但为有限值,即即 , 二进制对称信道（二进制对称信道（BSC）：）：输入和输出信号的符号数都输入和输出信号的符号数都是是2，即，即X A=0,1和和Y B=0，1的对称信道。的对称信道。1617信息论与编码信息论与编码 3）有干扰有记忆信道：有干扰有记忆信道：每个信道输出不但与当前输入信号每个信道输出不但与当前输入信号之间有转移概率关系，而且与其它时刻的输入输出信号也之间有转移概率关系，而且与其它时刻的输入输出信号也有关。有关。 在实际的数字信道中，当信道特性不理想，存在码间干在实际的数字信道中，当信道特性不理想，存在码间干扰时，输出信号不但与当前的输入信号有关，还与以前的扰时，输出信号不但与当前的输入信号有关，还与以前的输入信号有关。输入信号有关。常用的处理方法有两种：常用的处理方法有两种： 将记忆很强的将记忆很强的L个符号当作矢量符号，各矢量符号之个符号当作矢量符号，各矢量符号之间认为无记忆。这时会引入误差，间认为无记忆。这时会引入误差，L越大，误差越小。越大，误差越小。 将转移概率看作记忆长度有限的马尔科夫链的形式，将转移概率看作记忆长度有限的马尔科夫链的形式，这种处理方法很复杂，通常取一阶时稍简单。这种处理方法很复杂，通常取一阶时稍简单。1718信息论与编码信息论与编码 三、离散输入、连续输出信道三、离散输入、连续输出信道 信道输入符号选自一个有限的、离散的输入符号集信道输入符号选自一个有限的、离散的输入符号集X a1,a2, ,an，而信道输出，而信道输出Y -，+,这种信道模型这种信道模型就称为就称为离散时间无记忆信道离散时间无记忆信道。它的特性由离散输入。它的特性由离散输入X、连续、连续输出输出Y以及一组条件概率密度函数以及一组条件概率密度函数 来决定来决定。这类信道中最重要的就是加性高斯白噪声（这类信道中最重要的就是加性高斯白噪声（AWGN）信道）信道Y=X+G 式中，式中，G 是一个零均值，方差为是一个零均值，方差为2的高斯随机变量。的高斯随机变量。 当当 X=ai给定后，给定后，Y是一个均值为是一个均值为ai，方差为，方差为2的高斯随机变量。的高斯随机变量。1819信息论与编码信息论与编码 四、四、波形信道当信道输入和输出都是随机过程x(t)和y(t)时，该信道就称为波形信道，在实际模拟通信系统中，信道都是波形信道。如果波形信道为频宽受限信道，在有限的观察时间内，输入和输出的随机过程可以化为L个时间离散，取值连续的平稳随机序列。这样，波形信道化为多维连续信道，信道转移概率密度函数为其中：1920信息论与编码信息论与编码 如果多维连续信道的转移概率密度函数满足如果多维连续信道的转移概率密度函数满足 这样的信道称为这样的信道称为连续无记忆信道连续无记忆信道即在任一时刻输出变即在任一时刻输出变量只与对应时刻的输入变量有关，与以前时刻的输入输出量只与对应时刻的输入变量有关，与以前时刻的输入输出都无关。都无关。 一般情况下，上式不能满足，也就是连续信道任一时刻一般情况下，上式不能满足，也就是连续信道任一时刻的输出变量与以前时刻的输入输出有关，则称为的输出变量与以前时刻的输入输出有关，则称为连续有记连续有记忆信道忆信道。2021信息论与编码信息论与编码 噪声分为两类：噪声分为两类：加性噪声和乘性噪声，分析较多的是加性噪声信道加性噪声和乘性噪声，分析较多的是加性噪声信道 ( 噪声与信号是相加的关系，通常相互独立。噪声与信号是相加的关系，通常相互独立。)单符号加性噪声信道单符号加性噪声信道可以表示为可以表示为 ：x(t)是带限信号，是带限信号，y(t)是输出值，是输出值，n(t)是加性噪声过程的一个样本函数是加性噪声过程的一个样本函数说说 明：明： 条件熵条件熵Hc(Y/X)是由于噪声引起的，它等于噪声信源的熵是由于噪声引起的，它等于噪声信源的熵Hc(n) 。所以称所以称条件熵条件熵Hc(Y/X)为噪声熵为噪声熵。2122信息论与编码信息论与编码 加性多维连续信道中加性多维连续信道中，输入矢量、输出矢量和噪声，输入矢量、输出矢量和噪声矢量的关系表示为：矢量的关系表示为： 以后主要讨论加性信道，噪声源则主要是加性高斯以后主要讨论加性信道，噪声源则主要是加性高斯白噪声。白噪声。2223信息论与编码信息论与编码 五、信道模型的选取五、信道模型的选取在分析问题时选用何种信道模型完全取决于分析者的目的在分析问题时选用何种信道模型完全取决于分析者的目的 如果感兴趣的是设计和分析编码器和译码器的性能，常如果感兴趣的是设计和分析编码器和译码器的性能，常采用采用DMC信道模型或其简化形式信道模型或其简化形式BSC信道模型。信道模型。 如果分析性能的理论极限，则多采用离散输入、连续输如果分析性能的理论极限，则多采用离散输入、连续输出信道模型。出信道模型。 如果设计和分析数字调制器和解调器的性能，则可采用如果设计和分析数字调制器和解调器的性能，则可采用波形信道模型。波形信道模型。 因为本书后面的内容主要讨论编码和译码，所以因为本书后面的内容主要讨论编码和译码，所以DMC信道模型使用最多。信道模型使用最多。2324信息论与编码信息论与编码 作业：n3-12425信息论与编码信息论与编码 3.2离散单个符号信道及其容量一、几个定义 二、二、干扰离散信道的信道容量干扰离散信道的信道容量 三、三、对称对称DMC信道信道四、准对称DMC信道五、一般DMC信道六、串联信道的信道容量重点：无干扰信道、对称信道和准对称信道的信道容量2526信息论与编码信息论与编码 一、几个定义1、信息传输率信息传输率：信道中平均每个符号所能传送的信息量信道中平均每个符号所能传送的信息量2、信息传输速率信息传输速率t：信道中单位时间平均传送的信息量信道中单位时间平均传送的信息量,即即收信者在单位时间内接收到的信息量。单位：收信者在单位时间内接收到的信息量。单位：bit/秒秒 2627信息论与编码信息论与编码 3、信道容量C1）理论基础：对于固定的信道，平均互信息I(X;Y)是信源概率分布P(x)的上凸函数。也就是说，存在一个使某一特定信道的平均互信息达到极大值的信源分布，该极大值可以用来表述信道传送信息的最大能力，即信道容量。2728信息论与编码信息论与编码 2）信道容量的定义）信道容量的定义 对于某特定信道，可找到某种信源的概率分布对于某特定信道，可找到某种信源的概率分布p(ai)，使，使得得 I（X；Y）达到最大。达到最大。注：对于特定的信道，信道容量是个定值，但是在传输信息注：对于特定的信道，信道容量是个定值，但是在传输信息时信道能否提供其最大传输能力，则取决于输入端的概率分时信道能否提供其最大传输能力，则取决于输入端的概率分布。一般相应的输入概率分布称为布。一般相应的输入概率分布称为最佳输入分布。最佳输入分布。2829若平均传输一个符号需要若平均传输一个符号需要t秒钟，则信道单位时间内秒钟，则信道单位时间内平均传输的最大信息量为：平均传输的最大信息量为：即信道传输速率。即信道传输速率。信道容量信道容量C已与输入信源的概率分布无关，它只是已与输入信源的概率分布无关，它只是信道传输概率的函数，只与信道的统计特性有关。信道传输概率的函数，只与信道的统计特性有关。所以，信道容量是完全描述信道特性的参量，是信所以，信道容量是完全描述信道特性的参量，是信道能够传输的最大信息量。道能够传输的最大信息量。2930例：二进制对称信道例：二进制对称信道设p(0)=1/2时，3031信息论与编码信息论与编码 二、无干扰离散信道的信道容量二、无干扰离散信道的信道容量1、无噪无损信道：输入输出一一对应，信道矩阵为单位阵疑义度H(X/Y)=0，噪声熵H(Y/X)=03132信息论与编码信息论与编码 2、无噪有损信道（确定信道）：H（X/Y）0，H（Y/X）=0信道输出端接收到某个bj后不能判定是哪个输入符号ai3233信息论与编码信息论与编码 3、有噪无损信道：H（X/Y）=0，H（Y/X）03334我们可以进一步用维拉图来表述有噪无损信道和无噪有损信道中平均互信息、损失熵、噪失熵以及信源熵之间的关系。有噪无损信道有噪无损信道无噪有损信道无噪有损信道I(X;Y)I(X;Y)H（X）=I（X；Y）H（Y）=I（X；Y）H（Y）H（X）H（Y/X）H（X/Y）3435综合上述三种情况，若严格区分的话，综合上述三种情况，若严格区分的话，凡损失熵等凡损失熵等于零的信道称为无损信道于零的信道称为无损信道；凡噪声熵等于零的信道凡噪声熵等于零的信道称为无噪信道，称为无噪信道，而前面讨论的一一对应的无噪信道而前面讨论的一一对应的无噪信道则为无噪无损信道。则为无噪无损信道。对于无损信道，其信息传输率对于无损信道，其信息传输率R就是输入信源就是输入信源X输输出第个符号携带的信息量（信源熵出第个符号携带的信息量（信源熵H（X），所），所以其信道容量为以其信道容量为式中假设输入信源式中假设输入信源X的符号共有的符号共有r个符号，所以等概个符号，所以等概率分布时信源熵率分布时信源熵H（X）最大。）最大。3536同理，对于无噪信道，信道容量为同理，对于无噪信道，信道容量为式中假设输出信源Y的符号共有s个符号，所以等概率分布时信源熵H（Y）最大。而且一定能找到一种输入分布使输出符号Y达到等概分布。3637信息论与编码信息论与编码 三、对称三、对称DMC信道信道 1、定义：、定义：如果转移概率矩阵如果转移概率矩阵P的每一行包含同样元素，则的每一行包含同样元素，则为输入对称矩阵；如果转移概率矩阵为输入对称矩阵；如果转移概率矩阵P的每一列包含同样元的每一列包含同样元素，则为输出对称矩阵；如果输入输出都对称，则为对称素，则为输出对称矩阵；如果输入输出都对称，则为对称DMC信道。信道。例例 如如 :3738若输入符号和输出符号个数相同，都等于若输入符号和输出符号个数相同，都等于r,且信道矩且信道矩阵为阵为则此信道称为则此信道称为强对称信道强对称信道或或均匀信道均匀信道。这类信道中的。这类信道中的错误概率为错误概率为p,对称地平均分配给对称地平均分配给r-1个输出符号。它是个输出符号。它是对称离散信道的一类特例。对称离散信道的一类特例。二元对称信道就是二元对称信道就是r=2的均的均匀信道匀信道。对均匀信道，其信道矩阵中各列之和也等于。对均匀信道，其信道矩阵中各列之和也等于1（一般信道的信道矩阵中各列之和不一定等于（一般信道的信道矩阵中各列之和不一定等于1）3839信息论与编码信息论与编码 2、信道容量、信道容量对称离散信道的平均互信息为对称离散信道的平均互信息为I(X;Y)=H(Y)-H(Y/X)，而而这一项是固定这一项是固定X=x时对时对Y求和，即对信道矩阵的行求和。由于信道求和，即对信道矩阵的行求和。由于信道的对称性，所以的对称性，所以H(Y/X=x)与与x无关，为一常数，即无关，为一常数，即3940这就变换成求一种输入分布这就变换成求一种输入分布P(x)使使H(Y)取最大值的问题了。取最大值的问题了。现已知现已知Y的符号集共有的符号集共有s个符号，则个符号，则H(Y)=logs。只有当。只有当P(y)=1/s（等概率分布时），（等概率分布时），H(Y)才达到最大值才达到最大值logs。一般。一般情况下，不一定存在一种输入符号的概率分布情况下，不一定存在一种输入符号的概率分布P(x)，能使输，能使输出符号达到等概率分布。但对于对称离散信道，其信道矩阵出符号达到等概率分布。但对于对称离散信道，其信道矩阵中每一列都是由同一概率集的诸元素的不同排列组成，所以中每一列都是由同一概率集的诸元素的不同排列组成，所以保证了当输入符号是等概率分布，即保证了当输入符号是等概率分布，即 P(x)=1/r时，输出符号时，输出符号Y一定也是等概率分布，这是一定也是等概率分布，这是H(Y)=logs。4041由此得对称离散信道的信道容量为4142信息论与编码信息论与编码 例题：已知信道转移矩阵为计算信道容量。解：在这个信道中，每个符号平均能够传输的最大信息为0.082比特。而且只有当信道的输入符号是等概率分布时才能达到这个最大值。4243信息论与编码信息论与编码 例题：已知信道转移矩阵为该信道输入符号和输出符号的个数相同，都为n，且正确的传输概率为1-，错误概率被均匀分给n-1个输出符号，此类信道称为强对称信道或均匀信道，计算信道容量。解：4344二元对称信道就是r=2的均匀信道。由式子可计算得到信道容量是4445信息论与编码信息论与编码 四、准对称DMC信道1、定义：如果转移概率矩阵P是输入对称而输出不对称，即转移概率矩阵的每一行包含同样元素，而各列的元素可以不同，则为准对称矩阵。例如:45462、信道容量、信道容量准对称DMC信道信道容量的求解方法：方法一：根据信道容量的定义式来计算。方法二：将转移概率矩阵划分为若干个互不相交的对称的子集。根据下面的公式来计算。4647当输入等概分布时，以上两式都与当输入等概分布时，以上两式都与x无关。无关。4748信息论与编码信息论与编码 例题：已知信道转移矩阵为计算信道容量。方法一：该信道为准对称DMC信道，计算信道容量即为输入等概时的平均互信息量。由信道转移矩阵可得条件熵输入等概时，由信道转移矩阵可得联合概率：所以容易得到输出符号的概率分别0.4，0.4，0.2。所以4849信息论与编码信息论与编码 例题：已知信道转移矩阵为计算信道容量。方法二：将上面的信道矩阵分解为两个子集：根据下面的公式可以求得信道容量：因为：所以信道容量为:4950作业作业设信道转移矩阵为（1）求信道容量。（2）若矩阵P中的p=0，则所得到的是二元纯对称删除信道，计算此信道的信道容量。5051解（1）由转移矩阵得到得信道容量为（2）若p=0,则得信道容量为C=1-q(bit/符号)5152信息论与编码信息论与编码 五、一般DMC信道如何求得一般DMC信道的信道容量？说明： 该结论只给出了达到信道容量该结论只给出了达到信道容量C 时输入符号概率时输入符号概率p(ai)分布的充要分布的充要条件，并没有给出具体的计算公式。条件，并没有给出具体的计算公式。 一般情况下，最佳分布不一定是唯一的，只要使得互信息量最大一般情况下，最佳分布不一定是唯一的，只要使得互信息量最大即可。即可。5253由由Blahut-Arimoto算法，得出一结论：算法，得出一结论：当信道平当信道平均互信息达到信道容量时，输入信源符号集中每一均互信息达到信道容量时，输入信源符号集中每一个信源符号个信源符号x对输出端对输出端Y提供相同的互信息，只是提供相同的互信息，只是概率为概率为0的除外。的除外。5354例例：设信道如下图，输入符号集为0，1，2，输出符号集为0，1。信道转移矩阵为：这个信道不是对称信道。但可得用B-A算法，求其信道容量X 1 Y1/21/22 1 10 015455分析：仔细考察此信道，可设想若输入符号分析：仔细考察此信道，可设想若输入符号1的概率分布等于零，该信道就成了的概率分布等于零，该信道就成了一一对应的信道，接收到一一对应的信道，接收到Y后对输入端后对输入端X是完全确定的。若输入符号是完全确定的。若输入符号1的概率分布的概率分布不等于零，就会增加不确定性。所以，首先假设输入概率分布为不等于零，就会增加不确定性。所以，首先假设输入概率分布为p(0)=p(2)=1/2,p(1)=0,然后检查它是否满足然后检查它是否满足B-A定理。若满足则该分布就是我们定理。若满足则该分布就是我们要求的最佳输入分布，若不满足可再另找最佳分布。于是，要求的最佳输入分布，若不满足可再另找最佳分布。于是，解：解：可见，此分布满足可见，此分布满足B-A定理：定理：因此，求得这个信道的信道容量为：因此，求得这个信道的信道容量为：C=log2=1(比特比特/符号符号)而达到信道容量的输入概率分布就是前面假设的分布而达到信道容量的输入概率分布就是前面假设的分布p(0)=p(2)=1/2,p(1)=05556例：例：设离散信道如下图所示，输入符号集为输出符号集为.信道矩阵为求信道容量。a1 Xa2a3a4a5Yb1b2110.50.5115657由于输入符号由于输入符号a3传递到传递到b1和和b2是等概率的，所以是等概率的，所以a3可以省可以省去去.而且而且a1，a2与与a4，a5都分别传递到都分别传递到b1和和b2，因此可只取，因此可只取a1和和a5.所以设输入概率分布所以设输入概率分布p(a1)=p(a5)=1/2, p(a2)=p(a3)= p(a4)=0.可计算得可计算得p(b1)=p(b2)=1/2.于是按于是按B-A定理，有定理，有可见，此分布满足B-A定理：因此，求得这个信道的信道容量为：C=log2=1(比特比特/符号符号)而达到信道容量的输入概率分布就是前面假设的分布p(a1)=p(a5)=1/2, p(a2)=p(a3)= p(a4)=05758若设输入概率分布若设输入概率分布p(a1)= p(a2)= p(a4)= p(a5)=1/4, p(a3)= 0.同理，可计算得同理，可计算得p(b1)=p(b2)=1/2.于是按于是按B-A定理，也得定理，也得于是输入分布于是输入分布p(a1)= p(a2)= p(a4)= p(a5)=1/4, p(a3)= 0也是最也是最佳分布。佳分布。当然还可找到此信道其他的最佳输入分布。当然还可找到此信道其他的最佳输入分布。可见，这信道的最佳输入分布不是惟一的。从可见，这信道的最佳输入分布不是惟一的。从仅直接与信道传递概率及输出概率分布有关，因而达到信道容量的输入概率分布不是惟一的，但输出概率分布是惟一的.5859作业作业设某信道的转移概率矩阵为:(1)若p(a1)=1/3，求I(a1;Y);I(a2;Y);I(X;Y);(2)求该信道的容量和达到容量时的输入、输出分布5960比特/符号比特/符号比特/符号该信道为准对称信道该信道为准对称信道, ,达到信道容量时达到信道容量时, ,信道的输入分布应为等概信道的输入分布应为等概分布分布, ,即即: : 对应的输出分布为对应的输出分布为:解解(1)6061此时此时, ,输入输出平均互信息等于输入输出平均互信息等于信道容量信道容量:或由 比特/符号6162 平平均均互互信信息息 是是输输入入概概率率分分布布p(x)的的上上凸凸函函数数，因因此此极极大大值值必必定定存存在在。在在信信道道固固定定的的条条件件下下，平平均均互互信信息息是是r个个变变量量 的的多多元元函函数数，且且满满足足约约束条件束条件 ，故可用拉格朗日乘子法来求这个条，故可用拉格朗日乘子法来求这个条 件极值。件极值。即在即在 设辅助函数：设辅助函数： ，当，当 时求时求得的得的 的值即为信道容量。的值即为信道容量。 通过计算可得平均互信息的极大值通过计算可得平均互信息的极大值 ，即，即的条件下求的条件下求 的极值。的极值。对于一般的离散信道，我们很难利用对于一般的离散信道，我们很难利用B-A定理来寻求信道容定理来寻求信道容量和对应的输入概率分布。用求解量和对应的输入概率分布。用求解?6263 这样得到的信道容量有一个参数这样得到的信道容量有一个参数 。在某些情况下。在某些情况下可以消去可以消去 得到信道容量值。得到信道容量值。 1当输入概率分布只有一个变量时，例如当输入概率分布只有一个变量时，例如r=2，可以，可以设输入概率分布为设输入概率分布为 和和 ，因此输入概率分布只有，因此输入概率分布只有一个变量，这时我们可以直接对一个变量，这时我们可以直接对 求导求出，从而求导求出，从而得出得出 的极大值的极大值C。 2对于信道矩阵为可逆矩阵的信道，我们可以采用对于信道矩阵为可逆矩阵的信道，我们可以采用解方程组的方法。解方程组的方法。 在一般信道的信道容量的推导中我们推出了下式：在一般信道的信道容量的推导中我们推出了下式： 6364移项得移项得 当当r=s，且信道矩阵是可逆矩阵时，该方程组有唯一，且信道矩阵是可逆矩阵时，该方程组有唯一解。这时就可以求出解。这时就可以求出 ，然后根据，然后根据 求出信求出信道容量：道容量：令则所以所以6465由由 和和C就可以求得输出概率分布就可以求得输出概率分布（1）由由 列列方方程程组组求求出出 ；（2）由）由 求出求出C； （3）由由 求出求出 ；（4）由）由 列方程组求列方程组求 。 再根据再根据列方程组求列方程组求将计算步骤总结如下：将计算步骤总结如下：6568例：例：设离散无记忆信道输入设离散无记忆信道输入X的符号集为：的符号集为：输出输出Y的符号集为：的符号集为：其信道转移概率矩阵是其信道转移概率矩阵是求信道容量、输入、输出概率分布。求信道容量、输入、输出概率分布。6869分析：这个信道是个非对称信道，而且也无法利用分析：这个信道是个非对称信道，而且也无法利用B-A定理来计算信定理来计算信道容量。但这信道矩阵为方阵道容量。但这信道矩阵为方阵r=s，且为非奇异矩阵，所以根据一般，且为非奇异矩阵，所以根据一般求离散信道容量的公式，有求离散信道容量的公式，有解：解：69707071作业作业一个Z信道的转移概率如图所示,求信道容量7172解：7273信息论与编码信息论与编码 六、串联信道的信道容量根据教材2.2.4节中的信息不增性可得所以：可以看出，串联的信道越多，其信道容量可能会越小。当串联信道数无限大时，信道容量就可能趋于0。7374信息论与编码信息论与编码 作业：7475信息论与编码信息论与编码 3.3离散序列信道及其容量一、离散序列信道二、无记忆离散信道的信道容量重点：无记忆离散序列信道的容量7576信息论与编码信息论与编码 一、离散序列信道：输入输出信号都是平稳随机矢量,可用概率空间来描述。1、无记忆离散信道：每个信道输出只与当前输入信号之间有转移概率关系，而与其它时刻的输入输出信号无关。2、有记忆离散信道：每个信道输出不但与当前输入信号之间有转移概率关系，而且与其它时刻的输入输出信号也有关。目前还没有有效的方法来计算信道容量。7677信息论与编码信息论与编码 二、无记忆离散信道的信道容量1、平均自信息量的定义：性质：1、如果信道无记忆，则2、如果输入矢量中的各个分量相互独立，则7778信息论与编码信息论与编码 2、L次离散无记忆序列信道：当输入矢量XL各个分量相互独立，而且信道无记忆时，信道容量若信道平稳，则3、L个相互独立的信道进行并联：将L个相互独立的信道进行并联，每个信道的输出只与本信道的输入有关。独立并联信道的容量为：只有当输入符号Xl 相互独立时，并联信道的容量为各自信道之和。7879信息论与编码信息论与编码 例题例题：已知单符号信道的转移矩阵为则该BSC信道的二次扩展无记忆信道的转移矩阵为解：容易看出，上述信道均为对称信道，容易计算求得。假设p=0.1，可以求得：二次扩展信道：单符号信道：结论：二次扩展无记忆信道的信道容量正好是单符号信道的信道容量的2倍计算它们的信道容量，并比较结果。 注意单位7980信息论与编码信息论与编码 3.4连续信道及其容量重点：香农公式8081信息论与编码信息论与编码 一、连续单符号加性信道1、加性高斯噪声的连续熵：信道的输入和输出都是取值连续的一维随机变量，加入信道的噪声是均值为0，方差为2的加性高斯噪声。根据2.4.3节所述，该噪声的连续熵为：8182信息论与编码信息论与编码 2、连续单符号加性高斯信道的容量连续单符号加性高斯信道的容量式中：Hc(Y) 要取得最大值，只有当信道输出 Y为正态分布时。 由于信道输入和噪声统计独立，假设信道输入功率为S，噪声功率为2，则信道输入功率为P=S+2值为0。当信道输入X是均值为0，方差为S的高斯分布随机变量时，得到信道容量：可见，加性高斯信道的容量仅取决于信道的信噪比。需要注意的是，计算时输入信号的功率S应是经过信道损耗后的功率。8283信息论与编码信息论与编码 3、连续单符号加性非高斯信道容量的上下界连续单符号加性非高斯信道容量的上下界对于均值为0，平均功率为2的非高斯加性噪声信道，其信道容量的上下界为：式中，Hc(n)是噪声熵，P为输出信号的功率物理意义：先看不等式的右边，因为所以当噪声为非高斯时，如果输入信号的分布使得输出信号y为高斯分布时，Hc(Y)达到最大值，此时信道容量就达到上限。再看不等式的左边，因为其中第二项考虑的是高斯噪声的熵，它是噪声熵最坏的情况，所以是信道容量的下限值。在同样平均功率受限情况下，非高斯噪声信道的容量大于噪声信道的容量。所以，在处理实际问题时，通常采用计算高斯噪声信道容量的方法保守地计算信道容量。8384信息论与编码信息论与编码 二、多维无记忆加性连续信道1、多维无记忆加性信道等价于多维无记忆加性信道等价于 L个独立信道并联加性：个独立信道并联加性：信道的输入和输出都是取值连续的一维随机变量，加入信道的噪声是均值为0，方差为2的加性高斯噪声。根据2.4.3节所述，该噪声的连续熵为：843.5 信源与信道的匹配信源与信道的匹配 信道的信道容量是固定的，但只有当信源符号的概率分信道的信道容量是固定的，但只有当信源符号的概率分布满足一定的条件，才能使信息传输率布满足一定的条件，才能使信息传输率R=I(X;Y)达到信达到信道容量。如果某一信源通过该信道传输时，信息传输率达道容量。如果某一信源通过该信道传输时，信息传输率达到了信道容量，则称到了信道容量，则称信源与信道达到匹配信源与信道达到匹配，否则，我们认，否则，我们认为有冗余。为有冗余。平均互信息平均互信息I(X;Y)=1、信源与信道匹配的概念及有关定义、信源与信道匹配的概念及有关定义定义：定义：信道冗余度信道冗余度C-I(X;Y)信道信道相对冗余度相对冗余度相对冗余度相对冗余度H(X)信道容量为信道容量为C=logr因而可通过编码因而可通过编码降低信源冗余度降低信源冗余度来提高信息传输来提高信息传输率。率。对于无损信道，对于无损信道，(信源的冗信源的冗余度余度)(r为信道输入符号个数为信道输入符号个数)853.5 信源与信道的匹配信源与信道的匹配 是否存在一种信源编码，使得信道的传输率是否存在一种信源编码，使得信道的传输率R R接近或等于信道接近或等于信道容量？即使得表示信源消息所需的二进制符号最少，新信源信息容量？即使得表示信源消息所需的二进制符号最少，新信源信息熵最大。熵最大。这就是这就是香农无失真信源编码理论香农无失真信源编码理论，也就是无失真数，也就是无失真数据压缩理论。据压缩理论。 2、如何才能使得信源与信道匹配呢？、如何才能使得信源与信道匹配呢？对离散无损信道，如何对信源进行编码，才能使得信息传输率对离散无损信道，如何对信源进行编码，才能使得信息传输率达到信道容量？达到信道容量？无失真信源编码就是将信源输出的消息变换成适合信道传无失真信源编码就是将信源输出的消息变换成适合信道传输的新信源的消息来传输，而使新信源的符号接近等概率分输的新信源的消息来传输，而使新信源的符号接近等概率分布，新信源的熵接近最大熵。这样，信源传输的信息量达到布，新信源的熵接近最大熵。这样，信源传输的信息量达到最大，信道剩余度接近于零，信源与信道达到匹配。这些是最大，信道剩余度接近于零，信源与信道达到匹配。这些是我们将在第我们将在第5章讨论这些问题。章讨论这些问题。降低信源的冗余度，即：降低信源的冗余度，即：提高信源的熵：尽量用较少的符号表示相同的信息。提高信源的熵：尽量用较少的符号表示相同的信息。863.5 信源与信道的匹配信源与信道的匹配信道的信道容量为信道的信道容量为例例 若某离散无记忆信源，其概率空间为：若某离散无记忆信源，其概率空间为：通过一无损无噪二元离散信道来传输。通过一无损无噪二元离散信道来传输。C=1(比特比特/信道符号信道符号)信源的信息熵为信源的信息熵为H(X)=1.937 (比特比特/信源符号信源符号)如何对如何对S进行编码？将信源符号编码成信道符号。进行编码？将信源符号编码成信道符号。编码方案有多种，如：编码方案有多种，如：873.5 信源与信道的匹配信源与信道的匹配方案方案C1的每个信源符号需三个信道符号的每个信源符号需三个信道符号(二元符号二元符号),方案方案C2则需则需4个信道符号。个信道符号。而原始信源的信息熵为而原始信源的信息熵为H(X)=1.937 (比特比特/信源符号信源符号)利用方案利用方案C1进行编码后，得到的新信源的信息熵（每个进行编码后，得到的新信源的信息熵（每个信道符号所携带的信息量）为：信道符号所携带的信息量）为：H(X)/3=0.646(比特比特/信道符号信道符号)利用方案利用方案C2进行编码后，得到的新信源的信息熵：进行编码后，得到的新信源的信息熵：H(X)/4=0.484(比特比特/信道符号信道符号)883.5 信源与信道的匹配信源与信道的匹配 由于信道是无噪无损的，因而，信息传输率由于信道是无噪无损的，因而，信息传输率R(平均互信平均互信息息)等于信道输入信源等于信道输入信源(编码后得到的新信源编码后得到的新信源)的信息熵。的信息熵。方案方案C1，R1=0.646 (比特比特/信道符号信道符号)易知：易知：R2R1C=1方案方案C2，R2=0.484 (比特比特/信道符号信道符号) 因而，两种方案下信息传输率因而，两种方案下信息传输率(平均每个信道符号所能平均每个信道符号所能携带的信息量携带的信息量)分别为：分别为：若采用若采用huffman编码，编码结果为：编码，编码结果为：每个信源符号平均需要的信道符号数为：每个信源符号平均需要的信道符号数为：此时平均信道符号所能携带的信息量，即信息传输率为：此时平均信道符号所能携带的信息量，即信息传输率为：1/2+2*(1/4)+3*(1/8)+4*(1/16)+5*(1/32+1/32)=31/16=1.937H(X)/1.937=1.937/1.937=1 (比特比特/信道符号信道符号)=C8990作业90本章小结P6891部分资料从网络收集整理而来，供大家参考，感谢您的关注！