目录
一、什么是熵？
二、熵增原理
三、熵与信息论
四、知名学者推介
五、相关资源推介
六、集智百科词条志愿者招募
一、什么是熵？
我们小时候玩玩具，如果没有家长管着，一定是搅得屋子里天翻地覆、无从下脚，并且乐此不疲。如果把玩具看作元素，所有的玩具看作一个系统，则系统从整齐变成了混乱。这时候，要想找到某个心爱的玩具就变得非常困难，因为它可能出现在任何角落。这个场景就蕴含了熵增加的原理。
通俗地来讲，熵表示一个系统内所有元素的状态总和。对于同一个系统来说，“有序”反映了各元素所处的状态相对简单，容易被掌握，熵较低。反之，“无序”则反映了各元素所处的状态复杂，不易掌握，熵较高。
下图体现了类似“玩玩具”的过程：当分子排列整齐时，能够轻松定位每个分子。而他们散得越开，越难把握分子的位置和运动状态。这是个熵增加的过程。
图1：熵增加的过程，分子排列从有序变成无序
熵最初在热力学中被提出，其概念来源于克劳修斯对卡诺热机的研究。后来，熵在信息论、天体物理、生命科学、计算机科学等领域均有重要应用。在不同的学科中，根据具体情境，引申出了相适应的定义。可以说，在各个领域，熵都是一个必备知识点。
二、熵增原理
现实生活中，为了能喝到温水，我们会把开水兑到凉白开里，这样整杯水都是温的。但是，为什么不会发生“热者更热，凉者更凉”的现象呢？这不违反热力学第一定律——能量守恒，因为热量只是从凉的地方转移到热的地方，并无增减。如果能够自发地“热者更热，凉者更凉”，我们完全可以使海水变凉一小点儿，然后得到用之不竭的能量。
图2：热量从温度高的地方转移到温度低的地方
理想很丰满，现实很骨感。热力学第二定律堵死了这条路。该定律指出：热量无法自发地从低温物体转移到高温物体。这是为什么呢？玻尔兹曼从微观分子层面给出了解释：高温物体分子动能较大，低温物体分子动能较小。他们相互接触时产生碰撞，在所有碰撞后产生的可能结果中，绝大部分是分子间动能趋向一致，极少数是分子间动能差异性更大。所以理论上来说，是存在“热者更热，凉者更凉”的可能性的，但是发生的概率小到完全可以忽略不计，现实生活中无法发生。
上述过程经简单物理推导可知，系统的熵是增加的。由此引出热力学第二定律的另一表述：孤立系统（不与外界进行能量交换，例如“保温杯”）的熵永远不会自发减少。熵在可逆过程中不变，在不可逆过程中增加。这就是“熵增原理”。根据熵增原理，宇宙作为一个孤立系统，随着时间推移，熵会增加。即宇宙中所有元素的状态总体上会更加复杂。
图3：宇宙中的熵不断增加
注：热力学第三定律——绝对零度不可达到
三、熵与信息论
1948年，香农将热力学中的熵引入到信息论。在信息论中，熵用来测量事件结果的不确定性。例如，抛一枚正反面相同的硬币，那么结果是确定的，熵为零。抛一枚正常硬币，结果可能为正或为负，具有不确定性，熵大于零。如果将硬币正反面当做信息比特 (bit) “1”和“0”的话，那么比特位数越大，包含信息量越大，不确定性越高，熵越大。
图4：抛两枚硬币所产生结果的熵
四、知名学者简介
鲁道夫·尤利乌斯·埃马努埃尔·克劳修斯 rudolf julius emanuel clausius
图5：rudolf julius emanuel clausius
德国物理学家和数学家，热力学的主要奠基人之一。他重新陈述了萨迪·卡诺的定律（卡诺循环），把热理论推至一个更真实更健全的基础。他最重要的论文于1850年发表，该论文首次明确指出热力学第二定律的基本概念。他还于1865年引进了熵的概念。
路德维希·玻尔兹曼 ludwig edward boltzmann
图6：boltzmann
奥地利物理学家、哲学家，热力学和统计物理学的奠基人之一。他最伟大的功绩是发展了统计力学——通过原子的性质（原子量，电荷量等）来解释和预测物质的物理性质（热传导，扩散等），并且从统计意义对热力学第二定律进行了阐释。
克劳德·艾尔伍德·香农 claude elwood shannon
图6：claude elwood shannon
美国数学家、电子工程师和密码学家，信息论的创始人，提出了信息熵的概念。1948年发表了划时代的论文——通信的数学原理，奠定了现代信息论的基础。不仅如此，香农还被认为是数字计算机理论和数字电路设计理论的创始人。
信息熵常被用来作为一个系统的信息含量的量化指标，从而可以进一步用来作为系统方程优化的目标或者参数选择的判据。该文章用通俗易懂的语言系统地梳理一下有关熵的概念，有助于初学者入门。
信息熵及其相关概念 http://33s.co/mwxw
熵被认 为一种悲观主义的世界观，而熵增定律也被认为是令全宇宙都绝望的定律。 该文章介绍了其令人绝望的原因。
最令人绝望物理定律“熵增原理”：生命以负熵为食，最终走向消亡 https://xw.qq.com/amphtml/20190810a03ve1/20190810a03ve100
究竟什么又是熵？为什么它总是增加的？为什么蛋壳或者酒杯会破碎？宇宙的起源如何，又将如何结束？为什么我们的过去与未来如此不同？本文作者用农场中的绵羊，对这些问题一一做了有趣的解答。
六、百科项目志愿者招募
作为集智百科项目团队的成员，本文内容由张祺、刘佩佩、刘世康、李媛翯参与贡献。我们也为每位作者和志愿者准备了专属简介和个人集智百科尊龙凯时官方网站主页，更多信息可以访问其集智百科个人尊龙凯时官方网站主页:
以上内容都是我们做这项目的起点，作为来自不同学科和领域的志愿者，我们建立起一个有效的百科团队，分配有审校、翻译、编辑、宣传等工作。我们秉持：知识从我而来，问题到我为止的信念，认真负责编撰每一个词条。
在这里从复杂性知识出发与伙伴同行，同时我们希望有更多志愿者加入这个团队，使百科词条内容得到扩充，并为每位志愿者提供相应奖励与资源建立个人尊龙凯时官方网站主页与贡献记录，使其能够继续探索复杂世界。
