资源预览内容
亲,该文档总共1页全部预览完了,如果喜欢就下载吧!
资源描述
第1章 概论1. 信号(适合信道传输的物理量)、信息(抽象的意识/知识,是系统传输、转换、处理的对象)和消息(信息的载体)定义;相互关系:(1信号携带消息,是消息的运载工具(2信号携带信息但不是信息本身(3同一信息可用不同的信号来表示(4同一信号也可表示不同的信息。2. 通信的系统模型及目的:提高信息系统可靠性、有效性和安全性,以达到系统最优化.第2章 信源及信息量1. 单符号离散信源数学模型2. 自信息量定义:一随机事件发生某一结果时带来的信息量I(xi)=- log2P(xi)、单位:bit、物理意义:确定事件信息量为0;0概率事件发生信息量巨大、性质:I(xi)非负;P(xi)=1时I(xi)=0;P(xi)=0时I(xi)无穷;I(xi)单调递减;I(xi)是随机变量。3. 联合自信息量:I(xiyi)=- log2P(xiyj) 物理意义:两独立事件同时发生的信息量=各自发生的信息量的和、条件自信息量:I(xi/yi)=- log2P(xi/yj);物理意义:特定条件下(yj已定)随机事件xi 所带来的信息量。三者关系:I(xi/yi)= I(xi)+ I(yi/xi)= I(yi)+ I(xi/yi)4. 熵:定义(信源中离散消息自信息量的数学期望)、单位(比特/符号)、物理意义(输出消息后每个离散消息提供的平均信息量;输出消息前信源的平均不确定度;变量的随机性)、计算:(H(X)=-P(xi)log2 P(xi)1)连续熵和离散的区别:离散熵是非负的2)离散信源当且仅当各消息P相等时信息熵最大H(X)=log2 n。3)连续信源的最大熵:定义域内的极值.5.条件熵H(Y/X) = -P(xiyj) log2P(yj/xi),H(X/Y)= -P(xiyj) log2P(xi/yj) 、物理意义:信道疑义度H(X/Y):信宿收到Y后,信源X仍存在的不确定度,有噪信道传输引起信息量的损失,也称损失熵。噪声熵H(Y/X):已知X对符号集Y尚存的不确定性,由信道噪声引起。联合熵H(X,Y) =-P(x,y) log2P(x,y) H(X,Y)=H(X)+H(Y/X) H(X,Y)=H(Y)+H(X/Y)6. 熵的性质:1)非负性H(X)0:因随机变量X所有取值p分布满足0p(xi)1;当取对数的底大于1时log p(xi)0,而-p(xi)logp(xi)0,故熵H(X)0;只当随机变量是一确知量时熵H(X)=0。2)对称性:p(xn) 的顺序互换时熵不变。3) 最大离散熵定理,极值性:各个符号出现概率相等时(p(xi)=1/n)熵最大。4) 扩展性5) 确定性:信源符号中有一个符号出现概率为1熵就=0。6) 可加性7) 极值性:任一概率分布p(xi)对其它概率分布p(yi)的自信息取期望时必大于本身的熵:H(X/Y)H(X),H(Y/X)H(Y) 8) 上凸性HP +(1-)QH(P)+(1-)H(Q)7. 平均互信息量的定义3个公式的物理意义:从Y 获得的关于X的平均信息量。发出X 前后关于Y 的先验不确定度减少的量。通信前后整个系统不确定度减少量。单位(bit/sym)。8. 平均互信息量性质(对称非负(互信息可以负)极值凸函数数据处理定理)及证明(极值性、凸函数性):1)极值性I(X;Y)H(X) .2)上下凸性:I(X;Y)是p(xi)的严格上凸函数,是p(yj/xi)的严格下凸函数.3)数据处理定理:消息结果多级处理后随次数增多输入/出消息平均互信息量趋于变小.11.无记忆扩展信源:每次发出一组2个以上相互独立符号序列消息的信源。平稳信源:各维联合P分布都与t起点无关的完全平稳信源。12. 离散无记忆信源X的N次扩展信源熵H(X)=H(XN)=N H(X)13. 马尔可夫信源:任何t发出符号的P只与前已发的m小于N个符号有关,与更前的无关。状态的概念:与当前输出符号有关的前m个随机变量序列的某个具体消息。平稳后信源的概率分布:各态历经的马尔可夫链的极限P方程为极限熵:14. 连续信源的概念:变量和函数取值连续。最大连续熵定理:离散信源等概率分布时熵最大;对连续信源,无限制就无最大熵,不同限制下信源最大熵不同:峰值功率(幅度)受限,均匀分布的连续信源熵最大:h(X)=log2(ba);平均功率受限,均值为零高斯分布的连续信源熵最大:;均值受限,指数分布时连续信源熵最大: log2me。第3章 信道及其容量1. 信道模型X P(X/Y) Y、分类:根据输入出的(时间&取值特性/随机变量数/输入出数/有无干扰/有无记忆/恒参、随参)分类。2. 信道容量定义(最大的信息传输率)、单符号离散特殊信道C计算:(1) 离散无噪信道的信道容量:有一一对应关系的无噪信道C=log2n 有扩展性能的无噪信道C=log2n 有归并性能的无噪信道C=log2m (2) 强对称离散信道的信道容量: C=log2n+(1-P)log2(1-P)+Plog2P/n-1 n=2时是2进制均匀信道。(3) 对称离散信道的容量:C=log2m-H(Y/xi)3. 连续信道,香农公式;Ct=Wlog2(1+Px/Pn)(bit/s): (信噪比/dB,10log10P=PdB)。加性高斯白噪声是最基本的噪声与干扰模型,幅度服从高斯分布,功率谱密度是均匀分布。5.有噪信道编码DL内容意义:信道容量是一临界值,只要信息传输率不超过这个值,信道就可几乎无失真地把信息传送过去,否则就会失真。6.信源信道编码DL:H信源熵Rs信源编码速率Rc信道传输速率k),由2k个信息码组所编成的2k个码字集合,称为线性分组码。2.监督矩阵: 确定信息元得到监督元规则的一组方程称为监督方程/校验方程,写成矩阵形式就是H。3.生成矩阵(系统码形式): 生成信息位在前监督位在后的(n, k)线性码的矩阵G。2. 编码:由H/G将长为k的信息组变成长为nk的码字;伴随式译码:若伴随式S=0,判没出错,接收字是1个码字;若S0,判为有错。3. 最小距离的概念/性质/和纠、检错的关系:(1)最小距离&检错能力:dminl+1(2)-&纠错能力:dmin2t+1(3)-&检、纠错能力:dmint+l+14. 线性分组码的最小汉明距离=该码非0码字的最小重量.第9章 循环码1. 循环码定义:任意码字i次循环移位所得仍是一码字的(n, k)线性分组码。生成多项式概念:生成了(n, k)线性码的g(x)。DL1:(n, k)循环码中生成多项式g(x)是唯一(nk)次码多项式且次数最低DL2:(n, k)循环码中每个码多项式C(x)都是g(x)的倍式;而每个为g(x)倍式且次数n1的多项式必是一码多项式。DL3:在(n, k)线性码中,如全部码多项式都是最低次的(nk)次码多项式的倍式,则此线性码为 (n, k)循环码。DL4:(n, k)循环码的生成多项式g(x)是(xn+1)的因式:xn+1=h(x) g(x)1 / 1
网站客服QQ:2055934822
金锄头文库版权所有
经营许可证:蜀ICP备13022795号 | 川公网安备 51140202000112号