唐计 21151624 于航基于信息论基于信息论( Theory Of Information )的关于热力学熵和的关于热力学熵和信息熵的讨论与浅析信息熵的讨论与浅析（高大上的题目1.熵熵的概念是由德国德国物理学家克劳修斯克劳修斯于1865年所提出。化学及热力学中所指的熵，是一种测量在动力学动力学方面不能做功的能量总数。熵熵亦被用于计算一个系统中的失序失序现象。熵熵是一个描述系统状态的函数，但是经常用熵熵的参考值和变化量进行分析比较。热力学熵热力学熵 Entropy 利用积分求熵值2.热力学熵的宏观宏观形式：它的定义是，用来描述能量做功的能力能力，熵越大越大能量做功的能力就越弱越弱。由于我们只定义了熵的变化量，因此对一个系统的单一状态来说，宏观的熵没有没有绝对值。我们实际应用的是以“标准状态”为基准的相对值相对值（标准摩尔熵）。 熵的微观形式，著名的玻尔兹曼原理玻尔兹曼原理：S = kln，其中的是玻尔兹曼常数，量纲为 J/K，由于后面对数项不具量纲，所以玻尔兹曼 熵的量纲也是J/K ，这是证明它和宏观形式等价的前提前提。 这也形成了熵最广为人知的理解：熵是系统混乱度熵是系统混乱度（无序程度）的量度（无序程度）的量度。参考文献：知乎熵的两种形式熵的两种形式 3.4.简单介绍简单介绍 A Brief Introduction克劳德香农Claude Shannon克劳德克劳德香农香农在1948年的这一篇论文中，提出了“信息熵信息熵”的概念，并且以后信息论信息论也被作为一门单独的学科。著名文献（著名文献（1948）：）：A Mathematical Theory of Communication5.信息熵信息熵的来历和热力学熵热力学熵完全不同。把它也叫做“熵熵”完全是因为香农香农老爷子当年提出这个概念时参考了热力学熵热力学熵，并且它的表达式和热力学热力学熵熵的微观形式非常相似（但和宏观描述看不出任何任何相似性）的缘故。后来也有人提出了信息熵信息熵的其他表述形式，为了方便，下文以最早也最重要的香农熵香农熵为准。-参考文献：知乎信息熵信息熵 Information Entropy6.7.他先后阐述了： 有无噪音噪音的离散系统下（ DISCRETE NOISELESS SYSTEMS & THE DISCRETE CHANNEL WITH NOISE ）“信息的传输传输”“信息熵熵的计算”“相关的讨论讨论”解释了：信息熵、信源编码、信道编码、信道容量、信息失真率理论、信号检测和估计等概念。（比较专业）奠定了信息论信息论的基础。在这篇文献中：在这篇文献中：8.这篇文献所推导的一个公式这篇文献所推导的一个公式K就是一个系数，log以2为底随机变量S的取值(s1,s2.sn)，发生的概率是(p1,p2.pn)，和玻尔兹曼熵表达式形式基本一样，只有常数上的差别。结果的量纲为比特（比特（bit）。意义意义？ 指观察者对某一事件（结果）的未知程度未知程度。9.吴军吴军汉语信息熵和语言模型的复杂度汉语信息熵和语言模型的复杂度里说，只考虑字频的话英文是4.46比特/字符的信息熵，汉字是9.6比特/字符，直观上很容易理解，英文字母只有26个，所以描述一个字母所需要的信息表示不多，而中文字却很多，就需要更多的信息量才能表示。引用文献：CSDN blog汉语信息熵和英语有区别？汉语信息熵和英语有区别？10.这书写的很好，吴军吴军博士当年写谷歌谷歌板报的功底可见一斑。11.吴军吴军博士李开复：精通技术，并能够用清晰的语言公之于众两个19世纪曾经叱咤风云的巨头，一个虎落平阳，一个老骥伏枥关键时刻的抉择：当互联网来临12.13.甲乙丙三个实力相当的运动员要进行一次比赛，老王老王是比赛的裁判和记分员，他必须观察并如实记录三位选手的名次。所以对于他来说，比赛结果有A33=6种，由于运动员实力相当，每种结果出现的可能性一样，所以结果的熵是log26。老李老李是比赛场地的管理员，他完全不关心谁胜谁负，而只想等到比赛结束下班回家，那么比赛对他的熵是多少呢？答案是零零，因为他只关心比赛有没有结束，而比赛只要一开始就注定会结束，这个结果是唯一确定的。所以老李根本不用观察比赛，只要坐着等就可以了。不同的观察者，由于目的和观测能力的差异，同一个事件的熵也可能是不同的。参考文献：知乎举个栗子举个栗子 Example14.我们再回头看老王的记分板，他用三组二进制数记录比赛结果。老王的儿子小王（程序员）认为：由于比赛只有三位选手，只要其中两位选手的名次确定第三位选手的名次也就确定了。因此第三组二进制数完全是没有必要的（我们也称它为冗余冗余），如001表示甲乙丙的结果，010表示甲丙乙的结果这样老王每次就只需要三位二进制数（3比特）就可以记录原本要6比特才能表示的信息了。无损压缩是可能的。无损压缩是可能的。这也是清晰度差不多的视频文件有的格式卡成狗卡成狗有的格式却十分流畅十分流畅的原因。参考文献：知乎 More 更多更多15.总之，熵就是系统内无序程度，热力学熵就是热力学系统分子的无序程度，信息熵就是在信息传输系统内不同信息（相对于有效信息）的无序程度。信息论也是由此概念而进一步阐释出来，从而突破了香农老爷子的狭义理论，不断的向前发展。参考文献：原创16.Thank You All 17.