什么是熵 | 集智百科

目录

一、什么是熵？

二、熵增原理

三、熵与信息论

四、知名学者推介

五、相关资源推介

六、集智百科词条志愿者招募

一、什么是熵？

我们小时候玩玩具，如果没有家长管着，一定是搅得屋子里天翻地覆、无从下脚，并且乐此不疲。如果把玩具看作元素，所有的玩具看作一个系统，则系统从整齐变成了混乱。这时候，要想找到某个心爱的玩具就变得非常困难，因为它可能出现在任何角落。这个场景就蕴含了熵增加的原理。

通俗地来讲，熵表示一个系统内所有元素的状态总和。对于同一个系统来说，“有序”反映了各元素所处的状态相对简单，容易被掌握，熵较低。反之，“无序”则反映了各元素所处的状态复杂，不易掌握，熵较高。

下图体现了类似“玩玩具”的过程：当分子排列整齐时，能够轻松定位每个分子。而他们散得越开，越难把握分子的位置和运动状态。这是个熵增加的过程。

图1：熵增加的过程，分子排列从有序变成无序

熵最初在热力学中被提出，其概念来源于克劳修斯对卡诺热机的研究。后来，熵在信息论、天体物理、生命科学、计算机科学等领域均有重要应用。在不同的学科中，根据具体情境，引申出了相适应的定义。可以说，在各个领域，熵都是一个必备知识点。

二、熵增原理

现实生活中，为了能喝到温水，我们会把开水兑到凉白开里，这样整杯水都是温的。但是，为什么不会发生“热者更热，凉者更凉”的现象呢？这不违反热力学第一定律——能量守恒，因为热量只是从凉的地方转移到热的地方，并无增减。如果能够自发地“热者更热，凉者更凉”，我们完全可以使海水变凉一小点儿，然后得到用之不竭的能量。

图2：热量从温度高的地方转移到温度低的地方

理想很丰满，现实很骨感。热力学第二定律堵死了这条路。该定律指出：热量无法自发地从低温物体转移到高温物体。这是为什么呢？玻尔兹曼从微观分子层面给出了解释：高温物体分子动能较大，低温物体分子动能较小。他们相互接触时产生碰撞，在所有碰撞后产生的可能结果中，绝大部分是分子间动能趋向一致，极少数是分子间动能差异性更大。所以理论上来说，是存在“热者更热，凉者更凉”的可能性的，但是发生的概率小到完全可以忽略不计，现实生活中无法发生。

上述过程经简单物理推导可知，系统的熵是增加的。由此引出热力学第二定律的另一表述：孤立系统（不与外界进行能量交换，例如“保温杯”）的熵永远不会自发减少。熵在可逆过程中不变，在不可逆过程中增加。这就是“熵增原理”。根据熵增原理，宇宙作为一个孤立系统，随着时间推移，熵会增加。即宇宙中所有元素的状态总体上会更加复杂。

图3：宇宙中的熵不断增加

注：热力学第三定律——绝对零度不可达到

三、熵与信息论 

1948年，香农将热力学中的熵引入到信息论。在信息论中，熵用来测量事件结果的不确定性。例如，抛一枚正反面相同的硬币，那么结果是确定的，熵为零。抛一枚正常硬币，结果可能为正或为负，具有不确定性，熵大于零。如果将硬币正反面当做信息比特 (bit) “1”和“0”的话，那么比特位数越大，包含信息量越大，不确定性越高，熵越大。

图4：抛两枚硬币所产生结果的熵

四、知名学者简介

 鲁道夫·尤利乌斯·埃马努埃尔·克劳修斯 Rudolf Julius Emanuel Clausius

图5：Rudolf Julius Emanuel Clausius

德国物理学家和数学家，热力学的主要奠基人之一。他重新陈述了萨迪·卡诺的定律（卡诺循环），把热理论推至一个更真实更健全的基础。他最重要的论文于1850年发表，该论文首次明确指出热力学第二定律的基本概念。他还于1865年引进了熵的概念。

路德维希·玻尔兹曼 Ludwig Edward Boltzmann

图6：Boltzmann

奥地利物理学家、哲学家，热力学和统计物理学的奠基人之一。他最伟大的功绩是发展了统计力学——通过原子的性质（原子量，电荷量等）来解释和预测物质的物理性质（热传导，扩散等），并且从统计意义对热力学第二定律进行了阐释。

克劳德·艾尔伍德·香农 Claude Elwood Shannon

图6：Claude Elwood Shannon

美国数学家、电子工程师和密码学家，信息论的创始人，提出了信息熵的概念。1948年发表了划时代的论文——通信的数学原理，奠定了现代信息论的基础。不仅如此，香农还被认为是数字计算机理论和数字电路设计理论的创始人。

五、相关资源推荐

文章：

信息熵常被用来作为一个系统的信息含量的量化指标，从而可以进一步用来作为系统方程优化的目标或者参数选择的判据。该文章用通俗易懂的语言系统地梳理一下有关熵的概念，有助于初学者入门。

信息熵及其相关概念

http://33s.co/mwxW

熵被认为一种悲观主义的世界观，而熵增定律也被认为是令全宇宙都绝望的定律。该文章介绍了其令人绝望的原因。

最令人绝望物理定律“熵增原理”：生命以负熵为食，最终走向消亡

https://xw.qq.com/amphtml/20190810A03VE1/20190810A03VE100

科普 | 用绵羊解释熵——从冰块融化到时间箭头之谜

究竟什么又是熵？为什么它总是增加的？为什么蛋壳或者酒杯会破碎？宇宙的起源如何，又将如何结束？为什么我们的过去与未来如此不同？本文作者用农场中的绵羊，对这些问题一一做了有趣的解答。

课程

张江老师详解热力学第二定律，揭示“熵”的来龙去脉：

复杂性思维2020课程目录下，见第10章-热力学第二定律与耗散结构

复杂性思维2020

https://campus.swarma.org/course/1112/study

六、百科项目志愿者招募

作为集智百科项目团队的成员，本文内容由张祺、刘佩佩、刘世康、李媛翯参与贡献。我们也为每位作者和志愿者准备了专属简介和个人集智百科主页，更多信息可以访问其集智百科个人主页:

以上内容都是我们做这项目的起点，作为来自不同学科和领域的志愿者，我们建立起一个有效的百科团队，分配有审校、翻译、编辑、宣传等工作。我们秉持：知识从我而来，问题到我为止的信念，认真负责编撰每一个词条。

在这里从复杂性知识出发与伙伴同行，同时我们希望有更多志愿者加入这个团队，使百科词条内容得到扩充，并为每位志愿者提供相应奖励与资源，建立个人主页与贡献记录，使其能够继续探索复杂世界。

欢迎扫描下方二维码添加负责人加入集智百科团队！

参考资料：

[1]熵 集智百科 :

https://wiki.swarma.org/index.php?title=熵

[2]熵 维基百科:

https://en.wikipedia.org/wiki/Entropy

[3]熵 百度百科 :

https://baike.baidu.com/item/熵/101181?fr=aladdin

[4]热力学第二定律 百度百科

https://baike.baidu.com/item/热力学第二定律/473407?fr=aladdin

[5]热力学第二定律 维基百科

https://en.wikipedia.org/wiki/Second_law_of_thermodynamics

[6]信息熵 维基百科

https://en.wikipedia.org/wiki/Entropy_(information_theory)

[7]时间之箭（熵） 维基百科

https://en.wikipedia.org/wiki/Entropy_(arrow_of_time)

来源：集智百科