“熵”不起：从熵、最大熵原理到最大熵模型（一）

熵的概念 #

作为一名物理爱好者，我一直对统计力学中“熵”这个概念感到神秘和好奇。因此，当我接触数据科学的时候，我也对最大熵模型产生了浓厚的兴趣。

熵是什么？在通俗的介绍中，熵一般有两种解释：（1）熵是不确定性的度量；（2）熵是信息的度量。看上去说的不是一回事，其实它们说的就是同一个意思。首先，熵是不确定性的度量，它衡量着我们对某个事物的“无知程度”。熵为什么又是信息的度量呢？既然熵代表了我们对事物的无知，那么当我们从“无知”到“完全认识”这个过程中，就会获得一定的信息量，我们开始越无知，那么到达“完全认识”时，获得的信息量就越大，因此，作为不确定性的度量的熵，也可以看作是信息的度量，说准确点，是我们能从中获得的最大的信息量。

如何去衡量不确定性？也就是说，如何计算熵？要回答这个问题，我们可以想到，我们是用概率来描述不确定性的，我们可以给出系统出现某种状态的概率（或者概率密度，这里不作区分），只要概率不为1，就意味着出现不确定性。因此，熵必定与概率分布有关。具体怎么计算熵呢？本来，按照一般教科书或者科普的做法，是直接给出熵的公式，而这里，笔者尝试从两个角度给出熵的公式的来源，企图让读者了解其来龙去脉。

熵的基本计算公式为
$$S=-\sum_x p(x)\log p(x)\tag{1}$$
这里的$\log$可以是自然对数，也可以是以2为底的对数，事实上，任意大于1的底都是成立的，因为换底只不过相当于换了信息的单位。$p(x)$是量$X$取值为$x$的概率。对于连续的概率分布，熵类似地定义为（把求和换成积分）
$$S=-\int p(x)\log p(x) dx\tag{2}$$
$p(x)$是$X$的概率密度函数。

请留意，$(1)$式和$(2)$式的几个特征是：对数$\log$、求和$\sum_x$以及前面的负号，下面将着重解释这几个特征，从两个方面，一个是比较通俗的，一个是比较抽象的（数学化的）。

通俗的角度 #

从下面的例子出发

世界杯结束后，大家都很关心谁会是冠军。假如我错过了看世界杯，赛后我问一个知道比赛结果的观众“哪支球队是冠军”？他不愿意直接告诉我，而要让我猜，并且我每猜一次，他要收一元钱才肯告诉我是否猜对了，那么我需要付给他多少钱才能知道谁是冠军呢？我可以把球队编上号，从1到32，然后提问：“冠军的球队在1-16号中吗？”假如他告诉我猜对了，我会接着问：“冠军在1-8号中吗？”假如他告诉我猜错了，我自然知道冠军队在9-16中。这样只需要5次，我就能知道哪支球队是冠军。所以，谁是世界杯冠军这条消息的信息量只值5块钱。

以上例子引自吴军老师的著作《数学之美》中的“谈谈最大熵模型”这一章。以上例子成立的前提是：“我”对足球一无所知——“我”既没有研究足球，也没有听说过任何关于足球的消息。在这种情况下，我只能靠猜，最朴素的方法就是一支支队伍地猜：是中国吗？是巴西吗？是日本吗？...这样我们有可能问到第31个问题才得到最终结果。显然，这不是最高效率的方法。在例子中，我们先对球队编号（在数据处理时，我们称之为建立“索引”），然后用二分法查找，效率是$\mathcal{O}(\log_2 N)$。

这给我们两个启示：一是建立索引，并通过二分法，能够大大加快查找的速度，不过这跟本文没多大关系；第二就是$\log_2 N$，对数出现了！它可以改写为
$$\log_2 N=-\log_2 \frac{1}{N}=-\sum_{N\text{支队伍}}\frac{1}{N}\log_2 \frac{1}{N}$$
这正好是$(1)$式的形式，这里因为我们对足球一无所知，所以每支队伍得冠军的概率都是一样的，也就是$p=1/N$。

可能读者觉得这个例子太特殊，结果没什么代表性。确实，这只不过是一个感性的认知。从更抽象的、更精准的数学角度来理解也是可以的，这时候，我们的思路是反过来的。

抽象的角度 #

首先，我们希望构造出一个公式来表示信息量，或者等价地，不确定的程度，叫做“熵”（注意，这里是我们希望根据我们所想的用途去构造一个量，而不是我们已经得到了这个量，然后才证明它有这样的用途。这里边的逻辑刚好是反过来的，是我们需要什么，我们就去构造什么。）。既然“熵”用来表示信息量，那么它应该具有下面的简单的性质：

1、它是概率分布$p(x)$的函数，为了研究的方便，我们还希望它是一个光滑函数；
2、它具有可加性，这意味着熵具有形式
$$S[p(x)]=\sum_{x}f(p(x))\tag{3}$$

现在的问题是，$f()$的具体形式是什么，我们需要一些额外的信息来确定它，比如，假如$X,Y$是两个独立的随机变量，它们的概率分布分别是$p(x)$和$p(y)$，那么$X,Y$的联合概率是$p(x)p(y)$。因为两个随机变量是独立的，那么它们的联合分布$p(x)p(y)$和单独的两个分布$p(x),p(y)$，所具有的信息量是等价的（从联合密度分布可以算得单个的密度分布，从单个的密度分布，可以算得联合密度分布），也就是

3、当$X,Y$是独立随机变量时，有
$$S[p(x)p(y)]=S[p(x)]+S[p(y)]\tag{4}$$

事实上，1、2、3三个约束，就可以确定熵的表达式。为了从$(4)$式确定$f()$的形式，我们只需要从最简单的二元分布出发，假设$X,Y$都是二元随机变量，$X$的概率分布为$p,1-p$，$Y$的概率分布为$q,1-q$，那么联合分布为$pq,p(1-q),(1-p)q,(1-p)(1-q)$，根据$(4)$式，就有
$$\begin{aligned}&f(pq)+f\big(p(1-q)\big)+f\big((1-p)q\big)+f\big((1-p)(1-q)\big)\\
=&f(p)+f(1-p)+f(q)+f(1-q)\end{aligned}\tag{5}$$
这是关于$f()$的一个函数方程，只要加上适当的合理的限制，那么它就具有唯一解。这里我们尝试求解它，但不去证明解的唯一性。求解的过程是试探性的，我们发现，左边是自变量的积的形式，如$pq$，右边是单个的自变量的形式，如$p$，回想数学中的概念，我们可以想起来，能够把乘积变为求和的运算是取对数，所以我们不妨设$f(x)=h(x)\ln x$，得到
$$\begin{aligned}&h(p)\ln p+h(1-p) \ln (1-p)+h(q)\ln q+h(1-q)\ln (1-q)\\
=&h(pq)\ln p+h(pq)\ln q \\
&+ h\big(p(1-q)\big)\ln p + h\big(p(1-q)\big)\ln(1-q)\\
&+h\big((1-p)q\big)\ln(1-p)+h\big((1-p)q\big)\ln q \\
&+ h\big((1-p)(1-q)\big)\ln(1-p)+h\big((1-p)(1-q)\big)\ln(1-q)\end{aligned}\tag{6}$$
很长很乱很晕？不要紧，快到终点了。我们把相同对数的项合并起来，比如$\ln p$项，是
$$\big[h(p)-h(pq)-h(p(1-q))\big]\ln p\tag{7}$$
剩余三项也类似。我们发现，如果$h()$取线性函数，那么上式刚好是0，剩余三项也是0，等式自动满足！所以，我们就找到了一个解：
$$f(x)=\alpha x\ln x\tag{8}$$
所以我们有了熵的表达式：
$$S=\sum_{x}\alpha p(x)\ln p(x)\tag{9}$$

最后，还要确定$\alpha$，当然，$\alpha$本身的值不重要，它只不过是信息的单位而已，但是$\alpha$的符号是很重要的。我们要求熵有下面的性质：

4、信息量越大，熵越大。

第4点是为了符合我们的习惯而已，如果你喜欢，你也可以定义“信息量越大，熵越小”。既然这样定义，我们就知道，确定性事件的熵肯定比不确定的事件的熵要小（不确定的事情蕴含的信息越大），确定性事件的概率分布也就是恒等于1，对应的熵是0，而不确定性事件，我们还是取二元分布，概率分布为$p,1-p$，那么必然有
$$\alpha p\ln p + \alpha (1-p)\ln (1-p) > 0\tag{10}$$
因此只有$\alpha < 0$。

多扯一点 #

现在我们已经得到了熵的表达式，到这里我们已经走得比较远了，读者不一定都需要它们。笔者只是想把自己对熵的来龙去脉的认识分享给大家，对于关心熵的应用，不是太关心熵的来源的读者，可以忽略这部分内容，而对于希望从更多角度来深入认识熵的朋友，我觉得这部分内容是比较有意义的参考。

再次强调，本文是通过约束1、2、3、4来确定熵的表达式的，1、2、3、4是熵的性质，是由这些性质来确定熵的表达式。而一般的教程往往是反过来，首先给出熵的表达式，然后去推导1、2、3、4等性质。事实上，这有本末倒置之嫌。

根据以上讨论，我们已经发现，熵已经不再是物理概念的抽象，而已经是一个完全独立的对象。熵来源于物理，但基本上已经脱胎于物理，成为了一个能够贯穿信息、物理、生物等领域的强大工具。事实上，作为物理方面的应用，我们可以反过来，从后面要谈到的最大熵原理出发，建立起物理定律，这时候，熵不仅不是衍生物，还成为了物理定律的来源。

熵的“衍生物” #

有了熵的定义式$(1)$和$(2)$，我们就可以得到一些“衍生品”了，比如“联合熵”
$$S[p(x,y)]=-\sum_{x}\sum_{y} p(x,y)\ln p(x,y)\tag{11}$$
这是一元熵的等价推广罢了。

为了后面要讲到的最大熵模型，需要引入一个条件熵，它跟条件分布$p(y|x)$有关。但是我觉得，很多教程都写得化简为繁了，让人云里雾里的，比如，有些教程直接将条件熵定义为
$$S(Y|X)=\sum_x p(x)S(Y|X=x)=-\sum_x p(x)\sum_y p(y|x)\log p(y|x)\tag{12}$$
也有直接定义为
$$S(Y|X)=-\sum_x\sum_y p(x,y)\log p(y|x)\tag{13}$$
这两个式子都是等价的，当然也都是正确的。但是我真想问，这是哪门子的定义？读者的第一反应可能就是：凭什么这样定义？你想怎么定义就怎么定义呀，你在耍我吗？

我真搞不懂，为什么最直接、最容易理解的定义不给出来呢？我们已经知道，条件分布就是在联合分布$p(x,y)$的基础上，已经知道$p(x)$的分布，求$X$确定时，$Y$的分布情况。那么条件熵自然是在联合熵的基础上，再引入$X$的熵，所剩下的熵值：
$$S(Y|X)=S[p(x,y)]-S[p(x)]\tag{14}$$
说白了，条件熵就是说本来不确定性有$S[p(x,y)]$这么多，然后$p(x)$能带来量为$S[p(x)]$的信息，减少掉一定的不确定性，剩下的不确定性，就是条件熵。不难证明这个$(14)$式跟$(12),(13)$式都等价，但是显然，$(14)$式才具有明显的意义。

转载到请包括本文地址：https://kexue.fm/archives/3534

更详细的转载事宜请参考：《科学空间FAQ》

打赏

微信打赏

支付宝打赏

因为网站后台对打赏并无记录，因此欢迎在打赏时候备注留言。
你还可以点击这里或在下方评论区留言来告知你的建议或需求。