第三章第三章 信道及其容量信道及其容量u信道的义务是以信号方式传输信息和存储信息。信道的义务是以信号方式传输信息和存储信息。u研讨信道中可以传送或存储的最大信息量，即信道容量。研讨信道中可以传送或存储的最大信息量，即信道容量。3.1 3.1 信道的数学模型和分类信道的数学模型和分类 图3.1.1 数字通讯系统的普通模型3.1 3.1 信道的数学模型和分类信道的数学模型和分类 一、信道的分类一、信道的分类 根据载荷音讯的媒体根据载荷音讯的媒体不同不同根据信息传输的方式根据信息传输的方式邮递邮递信道信道信道信道电电信道信道信道信道光信道光信道光信道光信道声信道声信道声信道声信道输输入和入和入和入和输输出信号的方式出信号的方式出信号的方式出信号的方式信道的信道的信道的信道的统计统计特性特性特性特性信道的用信道的用信道的用信道的用户户多少多少多少多少根据信息传输的方式分类中根据信息传输的方式分类中 根据信道的用户多少：两端根据信道的用户多少：两端(单用户单用户)信道信道 多端多端(多用户多用户)信道信道根据信道输入端和输出端的关联：根据信道输入端和输出端的关联： 无反响信道无反响信道 反响信道反响信道根据信道的参数与时间的关系：根据信道的参数与时间的关系： 固定参数信道固定参数信道 时变参数信道时变参数信道 根据输入和输出信号的特点：根据输入和输出信号的特点： 离散信道离散信道 延续信道延续信道 半离散或半延续信道半离散或半延续信道 波形信道波形信道二、离散信道的数学模型二、离散信道的数学模型条件概率条件概率 P(y/x) 描画了输入信号和输出信号之间统计描画了输入信号和输出信号之间统计依赖关系。反映了信道的统计特性。依赖关系。反映了信道的统计特性。根据信道的统计特性即条件概率根据信道的统计特性即条件概率 P(y/x)的不同，离散信的不同，离散信道又可分成三种情况：道又可分成三种情况： 无干扰信道无干扰信道有干扰无记忆信道有干扰无记忆信道有干扰有记忆信道有干扰有记忆信道 (1)无干扰无干扰(噪声噪声)信道信道 信道中没有随机性的干扰或者干扰很小，输出信号信道中没有随机性的干扰或者干扰很小，输出信号y与输入与输入信号信号 x 之间有确定的、一之间有确定的、一 一对应的关系。即：一对应的关系。即：y f (x)(2)有干扰无记忆信道有干扰无记忆信道信道输入和输出之间的条件概率是普通的概率分布。信道输入和输出之间的条件概率是普通的概率分布。假设任一时辰输出符号只统计依赖于对应时辰的输入符号，那假设任一时辰输出符号只统计依赖于对应时辰的输入符号，那么这种信道称为无记忆信道。么这种信道称为无记忆信道。 (3) 有干扰有干扰(噪声噪声)有记忆信道有记忆信道 实践信道往往是既有干扰实践信道往往是既有干扰(噪声噪声)又有记忆的这又有记忆的这种类型。种类型。 例如在数字信道中，由于信道滤波使频率特性例如在数字信道中，由于信道滤波使频率特性不理想时呵斥了码字之间的干扰。不理想时呵斥了码字之间的干扰。 在这一类信道中某一瞬间的输出符号不但与对在这一类信道中某一瞬间的输出符号不但与对应时辰的输入符号有关，而且还与此以前其他时辰应时辰的输入符号有关，而且还与此以前其他时辰信道的输入符号及输出符号有关，这样的信道称为信道的输入符号及输出符号有关，这样的信道称为有记忆信道。有记忆信道。三、单符号离散信道单符号离散信道：符号离散信道：输入符号入符号为X，取，取值于于a1,a2, ,ar。输出符号出符号为Y，取，取值于于b1,b2, ,bs。条件概率：条件概率：P(y/x)P(y=bj/x=ai)P(bj/ai) 这一一组条件概率称条件概率称为信道的信道的传送概率或送概率或转移概率，移概率，可以用来描画信道干可以用来描画信道干扰影响的大小。影响的大小。信道中有干扰信道中有干扰(噪声噪声)存在，可以用传送概率存在，可以用传送概率 P(bj/ai) 来来描画干扰影响的大小。描画干扰影响的大小。普通简单的单符号离散信道可以用普通简单的单符号离散信道可以用X, P(y/x) ,Y 三者加三者加以描画。以描画。其数学模型可以用概率空间其数学模型可以用概率空间X, P(y/x) ,Y描画。当然，描画。当然，也可用以下图来描画：也可用以下图来描画： a1 b1 a2 b2 X . . Y . .ar bsP(bj/ai)例例1 二元对称信道，二元对称信道，BSC，Binary Symmetrical Channel解：此时，解：此时，X:0,1 ; Y:0,1 ; r=s=2，a1=b1=0；a2=b2=1。传送概率传送概率: p是单个符号传输发生错误的概率。是单个符号传输发生错误的概率。1-p表示是无错误传输的概率。表示是无错误传输的概率。 转移矩阵转移矩阵: 0 1011p a1=0 0=b11p a2=1 1=b2pp符号符号“2表示接表示接纳到了到了“0、“1以外的特殊符以外的特殊符号号 0 2 101p0 01p1 1q1q2例例2二元删除信道。二元删除信道。BEC，Binary Eliminated Channel解：解：X:0，1 Y:0，1，2此时，此时，r 2，s 3，传送矩阵为：传送矩阵为：普通离散单符号信道的传送概率可用矩阵方式表示，即普通离散单符号信道的传送概率可用矩阵方式表示，即 矩阵P完全描画了信道的特性，可用它作为离散单符号信道的另一种数学模型的方式。 P中有些是信道干扰引起的错误概率，有些是信道正确传输的概率。所以该矩阵又称为信道矩阵转移矩阵 。 b1 b2 bsa1 P(b1|a1) P(b2|a1) P(bs|a1)a2 P(b1|a2) P(b2|a2) P(bs|a2) . ar P(b1|ar) P(b2|ar) P(bs|ar)3.2 3.2 信道疑义度与平均互信息信道疑义度与平均互信息 本节进一步研讨离散单符号信道的数学模型下的信本节进一步研讨离散单符号信道的数学模型下的信息传输问题。息传输问题。一、信道疑义度一、信道疑义度信道输入信源信道输入信源X的熵的熵 H(X)是在接纳到输出是在接纳到输出Y以前，关于输入变量以前，关于输入变量X的先验不确的先验不确定性，称为先验熵。定性，称为先验熵。 接遭到接遭到bj后，关于后，关于X的不确定性为的不确定性为 后验熵在输出符号集后验熵在输出符号集Y范围内是个随机量，对后验熵在符范围内是个随机量，对后验熵在符号集号集Y中求数学期望，得条件熵中求数学期望，得条件熵-信道疑义度：信道疑义度：这是接纳到输出符号这是接纳到输出符号bj后关于后关于X的后验熵。的后验熵。 后后验验熵熵是是当当信信道道接接纳纳端端接接纳纳到到输输出出符符号号bj后后，关关于于输输入入符号的信息测度。符号的信息测度。互信息量互信息量 I(xi ; yj)：收到音讯：收到音讯yj 后获得关于后获得关于xi的信的信息量息量即：互信息量表示先即：互信息量表示先即：互信息量表示先即：互信息量表示先验验的不确定性减去尚存的不确定性，的不确定性减去尚存的不确定性，的不确定性减去尚存的不确定性，的不确定性减去尚存的不确定性，这这就是收信者就是收信者就是收信者就是收信者获获得的信息量得的信息量得的信息量得的信息量对对于无干于无干于无干于无干扰扰信道，信道，信道，信道，I(xi ; yj) = I(xi)I(xi ; yj) = I(xi)；对对于全于全于全于全损损信道，信道，信道，信道，I(xi ; yj) = 0I(xi ; yj) = 0；二、平均互信息二、平均互信息平均互信息平均互信息I(X; Y)： I(xi ; yj)的统计平均。的统计平均。l它代表接纳到符号集它代表接纳到符号集Y后平均每个符号获得的关于后平均每个符号获得的关于X的的信息量，也表示了输入与输出两个随机变量之间的统信息量，也表示了输入与输出两个随机变量之间的统计约束程度。计约束程度。关于平均互信息关于平均互信息I(X;Y) 互信息互信息 I(x ; y) 代表收到某音代表收到某音讯y后后获得得关于某事件关于某事件x的信息量。它可取正的信息量。它可取正值，也可取，也可取负值。 假假设互信息互信息I(x ; y)= 0。 假假设I(X;Y) = 0，表示在信道，表示在信道输出端接出端接纳到到输出符号出符号Y后不后不获得任何关于得任何关于输入符号入符号X的信的信息量息量-全全损信道。信道。 I(X;Y) = H(X) - H(X|Y) I(X;Y) = H(X) - H(X|Y) I(X;Y) = H(Y) - H(Y|X) I(X;Y) = H(Y) - H(Y|X) I(X;Y) = H(X)+H(Y)-H(XY) I(X;Y) = H(X)+H(Y)-H(XY)其中：其中：其中：其中：平均互信息与各类熵的关系平均互信息与各类熵的关系平均互信息与各平均互信息与各平均互信息与各平均互信息与各类熵类熵之之之之间间关系的集合关系的集合关系的集合关系的集合图图维维拉拉拉拉图图表示：表示：表示：表示： H(X|Y) = H(X) - I(X;Y) H(X|Y) = H(X) - I(X;Y) H(Y|X) = H(Y) - I(X;Y) H(Y|X) = H(Y) - I(X;Y) H(XY) = H(X)+H(Y)- I(X;Y) H(XY) = H(X)+H(Y)- I(X;Y) H(X)H(Y)H(X/Y)H(Y/X)I(X;Y)I(X;Y)H(XY)H(XY)图图中，左中，左中，左中，左边边的的的的圆圆代表随机代表随机代表随机代表随机变变量量量量X X的的的的熵熵，右，右，右，右边边的的的的圆圆代代代代表随机表随机表随机表随机变变量量量量Y Y的的的的熵熵，两个，两个，两个，两个圆圆重叠部分是平均互信息重叠部分是平均互信息重叠部分是平均互信息重叠部分是平均互信息I(X;Y)I(X;Y)。每个。每个。每个。每个圆圆减去减去减去减去I(X;Y)I(X;Y)后剩余的部分代表后剩余的部分代表后剩余的部分代表后剩余的部分代表两个疑两个疑两个疑两个疑义义度。度。度。度。 两种特殊信道两种特殊信道1 1、离散无干、离散无干、离散无干、离散无干扰扰信道信道信道信道 ( ( 无无无无损损信道信道信道信道 ) ) 信道的信道的输输入和入和输输出一一出一一对应对应，信息无，信息无损损失地失地传输传输，称称为为无无损损信道。信道。 H(X|Y) = H(Y|X) = 0 H(X|Y) = H(Y|X) = 0 损损失失熵熵和噪声和噪声熵熵都都为为“0“0 由于噪声由于噪声熵熵等于零，因此，等于零，因此，输输出端接出端接纳纳的信息就等的信息就等于平均互信息于平均互信息: : I(X;Y) = H(X) = H(Y) I(X;Y) = H(X) = H(Y) 2 2、输输入入入入输输出独立信道出独立信道出独立信道出独立信道 ( ( 全全全全损损信道信道信道信道 ) ) 信道信道信道信道输输入端入端入端入端X X与与与与输输出端出端出端出端Y Y完全完全完全完全统计统计独立独立独立独立 H(X|Y) = H(X) , H(Y|X) = H(Y) H(X|Y) = H(X) , H(Y|X) = H(Y) 所以所以所以所以 I(X;Y) = 0 I(X;Y) = H(X) - H(X|Y) I(X;Y) = 0 I(X;Y) = H(X) - H(X|Y) 信道的信道的信道的信道的输输入和入和入和入和输输出没有依出没有依出没有依出没有依赖赖关系，信息无法关系，信息无法关系，信息无法关系，信息无法传输传输，称称称称为为全全全全损损信道。信道。信道。信道。 接接接接纳纳到到到到Y Y后不能后不能后不能后不能够够消除有关消除有关消除有关消除有关输输入端入端入端入端X X的任何不确定的任何不确定的任何不确定的任何不确定性，所以性，所以性，所以性，所以获获得的信息量等于零。同得的信息量等于零。同得的信息量等于零。同得的信息量等于零。同样样，也不能从，也不能从，也不能从，也不能从X X中中中中获获得得得得任何关于任何关于任何关于任何关于Y Y的信息量。的信息量。的信息量。的信息量。 平均互信息平均互信息平均互信息平均互信息I(X;Y)I(X;Y)等于零，等于零，等于零，等于零，阐阐明了信道两端随机明了信道两端随机明了信道两端随机明了信道两端随机变变量量量量的的的的统计约统计约束程度等于零。束程度等于零。束程度等于零。束程度等于零。二种极限信道各二种极限信道各二种极限信道各二种极限信道各类熵类熵与平均互信息之与平均互信息之与平均互信息之与平均互信息之间间的关系的关系的关系的关系 H(X|Y) = H(X) H(X|Y) = H(X) H(Y|X) = H(Y) H(Y|X) = H(Y) I(X;Y) = 0 I(X;Y) = 0H(X|Y)=H(Y|X)=0 H(X|Y)=H(Y|X)=0 I(X;Y)=H(X)=H(Y)I(X;Y)=H(X)=H(Y)无无无无损损信道：完全重迭信道：完全重迭信道：完全重迭信道：完全重迭全全全全损损信道：完全独立信道：完全独立信道：完全独立信道：完全独立无无无无损损信道：信道：信道：信道：全全全全损损信道：信道：信道：信道：3.2 3.2 平均互信息的性质平均互信息的性质平均互信息平均互信息 I(X;Y) 具有以下特性：具有以下特性：1非负性非负性 即即 I(X;Y) = 0 当当X、Y统计独立时等式成立。统计独立时等式成立。2极值性极值性 即即 I(X;Y) = H(X) 当当 H(X/Y)=0 时，即信道中传输信息无损时，等式成时，即信道中传输信息无损时，等式成立。立。3交互性对称性交互性对称性 即即 I(X;Y) = I(Y;X) 当当 X、Y统计独立时统计独立时 I(X;Y) = I(Y;X)=0 当信道无干扰时当信道无干扰时 I(X;Y) = I(Y;X)=H(X)=H(Y)4 4凸状性凸状性凸状性凸状性 所以，平均互信息所以，平均互信息所以，平均互信息所以，平均互信息I(X;Y)I(X;Y)只是信源只是信源只是信源只是信源X X的概率分布的概率分布的概率分布的概率分布P(x)P(x)和信道的和信道的和信道的和信道的传传送概率送概率送概率送概率P(y/x)P(y/x)的函数，即：的函数，即：的函数，即：的函数，即： I(X;Y) = f P(x), P(y|x) I(X;Y) = f P(x), P(y|x)l 平均互信息平均互信息I(X;Y)是是输入信源的概率分布入信源的概率分布P(x)的的型凸函数。型凸函数。1 1对对固定信道，固定信道，固定信道，固定信道，选择选择不同的信源不同的信源不同的信源不同的信源( (其概率分布不同其概率分布不同其概率分布不同其概率分布不同) )与信道与信道与信道与信道衔衔接，在接，在接，在接，在信道信道信道信道输输出端接出端接出端接出端接纳纳到每个符号后到每个符号后到每个符号后到每个符号后获获得的信息量是不同的。得的信息量是不同的。得的信息量是不同的。得的信息量是不同的。2 2对对于每一个固定信道，一定存在有一种信源于每一个固定信道，一定存在有一种信源于每一个固定信道，一定存在有一种信源于每一个固定信道，一定存在有一种信源( (某一种概率分布某一种概率分布某一种概率分布某一种概率分布P(x)P(x)，使，使，使，使输输出端出端出端出端获获得的平均信息量得的平均信息量得的平均信息量得的平均信息量为为最大。最大。最大。最大。l 平均互信息平均互信息I(X;Y)是信道是信道传送的概率送的概率P(y/x)的的型凸函数。型凸函数。当信源固定后，选择不同的信道来传输同一信源符当信源固定后，选择不同的信道来传输同一信源符号，在信道输出端获得关于信源的信息量是不同的。号，在信道输出端获得关于信源的信息量是不同的。对每一种信源都存在一种最差的信道，此时干扰对每一种信源都存在一种最差的信道，此时干扰 (噪声噪声) 最大，而输出端获得的信息量最小。最大，而输出端获得的信息量最小。3.3 3.3 离散无记忆信道的扩展信道离散无记忆信道的扩展信道 离散无离散无离散无离散无记忆记忆信道信道信道信道 ( DMC ( DMC，Discrete Memoryless Discrete Memoryless Channel) Channel) ，其，其，其，其传传送概率送概率送概率送概率满满足：足：足：足：仍可用仍可用仍可用仍可用 X X，P( y / x )P( y / x )，Y Y 概率空概率空概率空概率空间间来描画。来描画。来描画。来描画。设设离散无离散无离散无离散无记忆记忆信道的信道的信道的信道的输输入符号集入符号集入符号集入符号集A Aa1a1， ， ar ar，输输出符号集出符号集出符号集出符号集B Bb1 b1 ， ， bs bs，信道矩，信道矩，信道矩，信道矩阵为阵为: :那么此无那么此无那么此无那么此无记忆记忆信道的信道的信道的信道的NN次次次次扩扩展信道的数学模型如下展信道的数学模型如下展信道的数学模型如下展信道的数学模型如下图图: :而信道矩而信道矩而信道矩而信道矩阵阵：其中：其中：其中：其中： 例例例例3 3 求二元无求二元无求二元无求二元无记忆对记忆对称信道称信道称信道称信道BSCBSC的二次的二次的二次的二次扩扩展信道。展信道。展信道。展信道。解：解：解：解：BSCBSC的的的的输输入和入和入和入和输输出出出出变变量量量量X X和和和和Y Y的取的取的取的取值值都是都是都是都是0 0或或或或1 1，因此，二，因此，二，因此，二，因此，二次次次次扩扩展信道的展信道的展信道的展信道的输输入符号集入符号集入符号集入符号集为为A A0000，0101，1010，1111，共有，共有，共有，共有22224 4个符号，个符号，个符号，个符号，输输出符号集出符号集出符号集出符号集为为B B 00 00，0101，1010，1111。由于是无由于是无由于是无由于是无记忆记忆信道，可求得二次信道，可求得二次信道，可求得二次信道，可求得二次扩扩展信道的展信道的展信道的展信道的传传送概率：送概率：送概率：送概率：信道矩信道矩信道矩信道矩阵阵： 根据平均互信息的定根据平均互信息的定根据平均互信息的定根据平均互信息的定义义，可得无，可得无，可得无，可得无记忆记忆信道的信道的信道的信道的NN次次次次扩扩展信展信展信展信道的平均互信息：道的平均互信息：道的平均互信息：道的平均互信息：假假假假设设信道的信道的信道的信道的输输入随机序列入随机序列入随机序列入随机序列为为X= (X1X2XN)X= (X1X2XN)，经过经过信道信道信道信道传传输输，接，接，接，接纳纳到的随机序列到的随机序列到的随机序列到的随机序列为为Y Y(Y1Y2YN)(Y1Y2YN)。假假。假假。假假。假假设设信道是信道是信道是信道是无无无无记忆记忆的，即信道的，即信道的，即信道的，即信道传传送概率送概率送概率送概率满满足：足：足：足：那么有：那么有：那么有：那么有：式中式中式中式中Xi YiXi Yi是是是是对应对应第第第第 i i 位的随机位的随机位的随机位的随机变变量。量。量。量。假假假假设设信源是无信源是无信源是无信源是无记忆记忆的，那么等式成立。的，那么等式成立。的，那么等式成立。的，那么等式成立。 直直直直观观分析：假分析：假分析：假分析：假设设信源有信源有信源有信源有记忆记忆，前面，前面，前面，前面传传送的符号送的符号送的符号送的符号带带有后面符号有后面符号有后面符号有后面符号的信息，使得后面的信息，使得后面的信息，使得后面的信息，使得后面传传送的符号的互信息减少送的符号的互信息减少送的符号的互信息减少送的符号的互信息减少假假假假设设信道的信道的信道的信道的输输入随机序列入随机序列入随机序列入随机序列为为X= (X1X2XN)X= (X1X2XN)，经过经过信道信道信道信道传输传输，接接接接纳纳到的随机序列到的随机序列到的随机序列到的随机序列为为Y Y(Y1Y2YN)(Y1Y2YN)。假假。假假。假假。假假设设信源是无信源是无信源是无信源是无记忆记忆的，的，的，的，那么有：那么有：那么有：那么有：其中其中其中其中XiXi和和和和YiYi是随机序列是随机序列是随机序列是随机序列X X和和和和Y Y中的第中的第中的第中的第 i i 位随机位随机位随机位随机变变量。量。量。量。直直直直观观分析：假分析：假分析：假分析：假设设信道有信道有信道有信道有记忆记忆，后面，后面，后面，后面传传送的符号送的符号送的符号送的符号带带有前面符号有前面符号有前面符号有前面符号的信息，使得前面的信息，使得前面的信息，使得前面的信息，使得前面传传送的符号的互信息添加。送的符号的互信息添加。送的符号的互信息添加。送的符号的互信息添加。假假假假设设信道和信源都是无信道和信源都是无信道和信源都是无信道和信源都是无记忆记忆的，那么：的，那么：的，那么：的，那么：研研讨信道的目的是要信道的目的是要讨论信道中平均每个符号所信道中平均每个符号所能能传送的信息量送的信息量-信息信息传输率率R平均互信息平均互信息I(X;Y)就是接就是接纳到符号到符号Y后平均每个符后平均每个符号号获得的关于得的关于X的信息量。的信息量。所以：所以： R = I(X;Y) = H(X) H(X|Y) (比特比特/符号符号)3.4 3.4 离散信道的信道容量离散信道的信道容量信道中每秒平均传输的信息量信道中每秒平均传输的信息量-信息传输速率信息传输速率RtRt R/t = I(X;Y)/t = H(X)/t H(X|Y)/t 比特比特/秒秒一、一、 信道容量的定信道容量的定义 由于平均互信息由于平均互信息I(X;Y)是是输入随机入随机变量的量的型凸函数型凸函数 ，所以，所以对一固定的信道，一固定的信道，总存在存在一种信源，使一种信源，使传输每个符号平均每个符号平均获得的信息得的信息量最大。量最大。即存在一个最大的信息即存在一个最大的信息传输率率 -定定义为信道容量信道容量C比特比特比特比特/ /符号符号符号符号(Bit/s)(Bit/s)CtCt仍称仍称仍称仍称为为信道容量信道容量信道容量信道容量 假假假假设设平均平均平均平均传输传输一个符号需求一个符号需求一个符号需求一个符号需求 t t 秒秒秒秒钟钟，那么信道在，那么信道在，那么信道在，那么信道在单单位位位位时时间间内平均内平均内平均内平均传输传输的最大信息量的最大信息量的最大信息量的最大信息量为为CtCt：即：即：即：即：例例4 信道容量的计算信道容量的计算因此，二元因此，二元因此，二元因此，二元对对称信道的信道容量称信道的信道容量称信道的信道容量称信道的信道容量为为：二元二元二元二元对对称信道，称信道，称信道，称信道，I(X;Y)I(X;Y)时时，I(X;Y)I(X;Y)最大。最大。最大。最大。当当( ( ( (比特符号比特符号比特符号比特符号) ) ) )离散无噪信道离散无噪信道离散无噪信道离散无噪信道二、简单离散信道的信道容量二、简单离散信道的信道容量例如：例如：例如：例如：其信道矩其信道矩其信道矩其信道矩阵阵是是是是单单位矩位矩位矩位矩阵阵：满满足：足：足：足： I(X;Y)=H(X)=H(Y) I(X;Y)=H(X)=H(Y)有噪无有噪无有噪无有噪无损损信道：信道：信道：信道： 接接接接纳纳到符号到符号到符号到符号Y Y后，后，后，后，对对X X符号是完全确定的。符号是完全确定的。符号是完全确定的。符号是完全确定的。 损损失失失失熵熵H(X/Y)=0H(X/Y)=0， 但噪声但噪声但噪声但噪声熵熵H(Y/X)0H(Y/X)0其信道矩其信道矩其信道矩其信道矩阵阵：所以所以所以所以 ： I(X;Y)=H(X)H(Y)I(X;Y)=H(X)H(Y)无噪有损信道无噪有损信道满满足：足：足：足： I(X;Y)=H(Y)H(X) I(X;Y)=H(Y)C，总可以找到一种编码，当L足够长时，译码错误概率 ，为恣意大于零的正数。反之，当RC时，任何编码的 必大于零，当 时， 。与无失真信源编码定理(香农第一定理)类似，香农第二定理只是一个存在性定理，它指出信道容量是一个临界值，只需信息传输率不超越这个临界值，信道就可几乎无失真地把信息传送过去，否那么就会产生失真。即在保证信息传输率低于(直至无限接近)信道容量的前提下，错误概率趋于“0的编码是存在的。虽然定理设有详细阐明如何构造这种码，但它对信道编码技术与实际依然具有根本性的指点意义。编码技术研讨人员在该实际指点下努力于研讨实践信道中各种易于实现的详细编码方法。二十世纪六十年代以来，这方面的研讨非常活泼，出现了代数编码、循环码、卷积码、级联码、格型码等等，为提高信息传输的可靠性作出了重要的奉献。我们将在第六章引见信道编码的典型编码方法。