信息论的由来发展科学技术的发展是人类正在进入一个新的时代，这个时代的主要特征之一就是对信息的 需求和利用，因此有人称之为信息时代。而迄今为止，人们对信息都没有确切定义，但是它 是一种人人皆知、不言自明的抽象概念。信息虽无确切定义，但是却有两个明显的特征：广 泛性与抽象性，信息时组成客观世界并促进社会发展的最基本的三大要素之一（物质、能量 和信息）。它依附于物质和能量，但又不同于物质和能量。没有信息就不能更好地利用物质 和能量，人类利用信息和知识改造物质，创造新物质，提高能量利用效率，发现新能量形式。 信息也是客观存在的，它是人类认识、改造客观世界的主要动力，是人类认识客观世界的更 高层次。人类社会的生存和发展无时无刻都离不开信息的获取、传递、处理、再生、控制和 利用。信息论正是一门把信息作为研究对象，以揭示信息的本质特征和规律为基础，应用概率 论、随机过程和数理统计等方法来研究信息的存储、传输、处理、控制和利用等一般规律的 科学。自从1948年贝尔研究所的香农发表了通信的数学理论一文，宣告了信息论作为一 门独立的、全新的学科成立。自此以后，信息理论本身得到不断地发展和深化，尤其是在信 息理论的指导下，信息技术也获得飞快发展。这又使信息的研究冲破了香农狭义信息的范畴， 几乎渗透到自然科学与社会科学的所有领域，从而形成了一门具有划时代意义的新兴学科 信息科学。信息科学是人们在对信息的认识与利用不断扩大的过程中，在信息论、电子学、 计算机科学、人工智能、系统工程学、自动化技术等多学科基础上发展起来的一门边缘性新 学科。它的任务主要是研究信息的性质，研究机器、生物和人类关于各种信息的获取、变换、 传输、处理、利用和控制的一般规律，设计和研制各种信息机器和控制设备，实现操作自动 化，以便尽可能地把人脑从自然力的束缚下解放出来，提高人类认识世界和改造世界的能力。 信息科学在安全问题的研究中也有着重要应用。1924 年H.Nyquist开始分析电报信号传输中脉冲速率与信道带宽的关系1928 年R.V.L.Har tl ey提出信息应该由随机事件样本空间中兀素的个数的对数值来 衡量1930 年N.Wiener开始把傅里叶分析方法全面引入随机时间信号的研究中来1936 年E.H.Armstrong提出频率调制1939 年H.Dudley发明了声码器1948 年N.Wiener发表控制论1948 年C.E.Shannon发表通信的数学理论1952 年D.A.Huffman 提出了 Huffman 编码1954 年P.Elias提出了卷积码1959 年S.K.Kullback提出了鉴别信息的概念1961 年C.E.Shannon提出了多用户信息论1963 年P.Elias提出了算术编码1965 年A.N.Kolmogorov提出了通用编码1982 年G.Ungerboeck实现了网格编码调制1993 年Turbo码的性能已经非常接近于理论极限上表记录了科学家们再信息科学发展中的重要贡献，反映了信息科学的发展历程。香农 在论文通讯的数学理论中系统地提出了关于信息的论述，创立了信息论。维纳提出的关 于度量信息量的数学公式开辟了信息论的广泛应用前景。1951 年美国无线电工程学会承认 信息论这门学科，此后得到迅速发展。20世纪 50 年代是信息论向各门学科冲击的时期，60 年代信息论不是重大的创新时期，而是一个消化、理解的时期，是在已有的基础上进行重大 建设的时期。研究重点是信息和信源编码问题。到70 年代，由于数字计算机的广泛应用， 通讯系统的能力也有很大提高，如何更有效地利用和处理信息，成为日益迫切的问题。人们 越来越认识到信息的重要性，认识到信息可以作为与材料和能源一样的资源而加以充分利用 和共享。人类迈入21 世纪的高度信息化时代以来，移动通信、互联网通信、多媒体技术、 计算机技术、空间技术等信息技术出现了超越人们想象的、前所未有的发展速度，在这些领 域中，只要涉及信息的存储、传输和处理就要用到香浓信息理论无失真通信的传输速率 极限（即香浓极限）、无失真和限失真新源编码理论（即数据压缩原理）和信道编码理论（即 纠错码理论）等。如今信息的概念和方法已广泛渗透到各个科学领域，它迫切要求突破申农 信息论的狭隘范围，以便使它能成为人类各种活动中所碰到的信息问题的基础理论，从而推 动其他许多新兴学科进一步发展。目前，人们已把早先建立的有关信息的规律与理论广泛应 用于物理学、化学、生物学等学科中去。何为信息一般说来，信息可以界定为由信息源（如自然界、人类社会等）发出的被使用者接受和 理解的各种信号。作为一个社会概念，信息可以理解为人类共享的一切知识，或社会发展趋 势以及从客观现象中提炼出来的各种消息之和。信息并非事物本身，而是表征事物之间联系 的消息、情报、指令、数据或信号。一切事物，包括自然界和人类社会，都在发出信息。我 们每个人每时每刻都在接收信息。在人类社会中，信息往往以文字、图象、图形、语言、声 音等形式出现。就本体论意义而言，信息是标志事物存在及其关系的属性。 信息一般具有如下一些特征：1、可识别；2、可转换；3、可传递；4、可加工处理；5、可多次利用（无损耗性）；6、在流通中扩充；7、主客体二重性。信息是物质相互作用的一种属性，涉及主客体双方；信息表征信源客体 存在方式和运动状态的特性，所以它具有客体性，绝对性；但接收者所获得的信息量和价值 的大小，与信宿主体的背景有关表现了信息的主体性和相对性。8、信息的能动性。9、可共享性。这是信息与物质和能量的主要区别。信息的产生、存在和流通，依赖于物质和能量，没有物质和能量就没有能动作用。信息可以 控制和支配物质与能量的流动。信息论学科的概述信息论是一门具有高度概括性、综合性，应用广泛的边缘学科。信息论是信息科学的理论 基础，它是一门应用数理统计方法研究信息传输和信息处理的科学，是利用数学方法来研究 信息的计量、传递、交换和储存的科学。随着科学技术的发展，信息论研究范围远远超出了 通信及类似的学科，已延伸到生物学、生理学、人类学、物理学、化学、电子学、语言学、 经济学和管理学等学科。信息科学是人们在对信息的认识与利用不断扩大的过程中，在信息论、电子学、计算机科 学、人工智能、系统工程学、自动化技术等多学科基础上发展起来的一门边缘性新学科。它 的任务主要是研究信息的性质，研究机器、生物和人类关于各种信息的获取、变换、传输、 处理、利用和控制的一般规律，设计和研制各种信息机器和控制设备，实现操作自动化，以 便尽可能地把人脑从自然力的束缚下解放出来，提高人类认识世界和改造世界的能力。信息 科学在安全问题的研究中也有着重要应用。信息论的研究对象厂II哋 1一I馆息传納横型信源产生消息的源，消息可以是文字，语言，图像。可以离散，可以连续。随即发生。研究 的主要问题是消息的统计特性和产生信息的速率。编码器编码是把消息变换成信号的措施，而译码就是编码的发变换。编码器输出的是适合信道 传输的信号，信号携带着消息，它是消息的载荷者。其中，编码器分为信源编码器和信道编 码器。信源编码器：对信源输出进行变换，求得有效性信道编码器：对信源编码输出变换，提高抗干扰性调制器：将信道编码输出变成适合信道传输的方式信道通信系统把载荷消息的信号从甲地传输到乙地的媒介或通道 干扰源系统各部分引入的干扰，包括衰落，多径，码间干扰，非线性失真，加性噪声，这要是 统计特性信道的中心问题是研究信道的统计特性和传信能力，即信道容量 译码器编码器的逆变换中心问题是研究各种可实现的解调和译码的方法 信宿信息的接收者，信源和信宿可处于不同地点和不同时刻信息论研究的目的研究通信系统的目的就是要找到信息传输过程的共同规律，以提高信息传输的可靠性。 有效性。保密性和认证性，以达到信息传输系统最优化。可靠性高，就是要使信源发出的消息经过信道传输以后，尽可能准确地。不失真地再现 在接收端。有效性高，就是经济效果好，即用尽可能短的时间和尽可能少的设备来传送一定数量的 信息。保密性，就是隐蔽和保护通信系统中传送的消息，使它只能被授权接收者获取，而不能 被未授权者接受和理解。认证性，就是接收者能正确判断所接收的消息的正确性，验证消息的完整性，而不是伪 造的和被窜改的。信息论研究的内容信息论是一门用数理统计方法来研究信息的度量、传递和变换规律的科学。它主要是研 究通讯和控制系统中普遍存在着信息传递的共同规律以及研究最佳解决信息的获限、度量、 变换、储存和传递等问题的基础理论。信息论的研究范围极为广阔。一般把信息论分成三种不同类型：(1) 狭义信息论是一门应用数理统计方法来研究信息处理和信息传递的科学。它研究存 在于通讯和控制系统中普遍存在着的信息传递的共同规律，以及如何提高各信息传输系统的 有效性和可靠性的一门通讯理论。(2) 一般信息论主要是研究通讯问题，但还包括噪声理论、信号滤波与预测、调制与信 息处理等问题。其中维纳和香农等人都是运用概率和统计数学的方法来研究准确或近似地再 现信息的问题，都是为了使信息传送和接收最优化。维纳研究的重点是在接收端。研究一个 信号如果在传输过程中被某些因素所干扰后，在接收端怎样把它恢复、再现，从干扰中提取 出来。在此基础上，创立了最佳线性滤波理论、统计检测和估计理论、噪声理论等。而香农 研究的对象则是从信源到信宿之间的全过程，是收、发端联合最优化问题，其重点放在编码。 他指出，只要在传输前后对消息进行适当的编码和译码，就能保证在干扰的存在下，最佳地 传送和准确或近似地再现消息。为此发展了信息测度理论、信道容量理论和编码理论等。(3) 广义信息论不仅包括狭义信息论和一般信息论的问题，而且还包括所有与信息有关 的领域，如心理学、语言学、神经心理学、语义学等。信息论将信息的传递作为一种统计现象来考虑，给出了估算通信信道容量的方 法。信息传输和信息压缩是信息论研究中的两大领域。 这两个方面又由信息传输定理、 信源信道隔离定理相互联系。最后介绍一下信息论中衡量信息的几个重要的概念：信息量信息论中量度信息多少的一个物理量。它从量上反映具有确定概率的事件发 生时所传递的信息。信息熵(Entropy):是信息论中用于度量信息量的一个概念。一个系统越是有序， 信息熵就越低；是一个数学上颇为抽象的概念，在这里不妨把信息熵理解成某种特定 信息的出现概率。条件熵(Conditional entropy):是信息论中信息熵的一种度量，它表示如果已经完全 知道第二个随机变量X的前提下，随机变量Y的信息熵还有多少。也就是基于X的Y的 信息熵。相对熵(KL-Divergence):表示实际信源比理想信源的缩减程度. 互信息(Mutual information):它是指两个事件集合之间的相关性。香农三大定理是信息论的基础理论。香农三大定理是存在性定理，虽然并没有提供具体的编码实现方法，但为通信信息的研究指明了方向。香农第一定理是可变长无 失真信源编码定理。香农第二定理是有噪信道编码定理。香农第三定理是保失真度准 则下的有失真信源编码定理。具体如下 :一:香农第一定理(可变长无失真信源编码定理 )设信源S的熵shdngH(S),无噪离散信道的信道容量为C,于是，信源的输出可以 进行这样的编码，使得信道上传输的平均速率为每秒(C/H(S)-a)个信源符号其中a可 以是任意小的正数，要使传输的平均速率大于(C/H(S)是不可能的。二:香农第二定理(有噪信道编码定理)设某信道有r个输入符号,s个输出符号，信道容量为C,当信道的信息传输率R码 长N足够长，