BN究竟起了什么作用？一个闭门造车的分析

BN，也就是Batch Normalization，是当前深度学习模型（尤其是视觉相关模型）的一个相当重要的技巧，它能加速训练，甚至有一定的抗过拟合作用，还允许我们用更大的学习率，总的来说颇多好处（前提是你跑得起较大的batch size）。

那BN究竟是怎么起作用呢？早期的解释主要是基于概率分布的，大概意思是将每一层的输入分布都归一化到$\mathcal{N}(0,1)$上，减少了所谓的Internal Covariate Shift，从而稳定乃至加速了训练。这种解释看上去没什么毛病，但细思之下其实有问题的：不管哪一层的输入都不可能严格满足正态分布，从而单纯地将均值方差标准化无法实现标准分布$\mathcal{N}(0,1)$；其次，就算能做到$\mathcal{N}(0,1)$，这种诠释也无法进一步解释其他归一化手段（如Instance Normalization、Layer Normalization）起作用的原因。

在去年的论文《How Does Batch Normalization Help Optimization?》里边，作者明确地提出了上述质疑，否定了原来的一些观点，并提出了自己关于BN的新理解：他们认为BN主要作用是使得整个损失函数的landscape更为平滑，从而使得我们可以更平稳地进行训练。

本博文主要也是分享这篇论文的结论，但论述方法是笔者“闭门造车”地构思的。窃认为原论文的论述过于晦涩了，尤其是数学部分太不好理解，所以本文试图尽可能直观地表达同样观点。

（注：阅读本文之前，请确保你已经清楚知道BN是什么，本文不再重复介绍BN的概念和流程。）

一些基础结论 #

在这部分内容中我们先给出一个核心的不等式，继而推导梯度下降，并得到一些关于模型训练的基本结论，为后面BN的分析铺垫。

核心不等式 #

假设函数$f(\theta)$的梯度满足Lipschitz约束（$L$约束），即存在常数$L$使得下述恒成立
\begin{equation}\Vert \nabla_{\theta} f(\theta + \Delta \theta) - \nabla_{\theta} f(\theta)\Vert_2\leq L\Vert \Delta\theta\Vert_2\end{equation}
那么我们有如下不等式
\begin{equation}f(\theta+\Delta\theta) \leq f(\theta) + \left\langle \nabla_{\theta}f(\theta), \Delta\theta\right\rangle + \frac{1}{2}L \Vert \Delta\theta\Vert_2^2\label{eq:core-eq}\end{equation}

证明并不难，定义辅助函数$f(\theta + t\Delta\theta),t\in[0, 1]$，然后直接得到\begin{equation}\begin{aligned}f(\theta + \Delta\theta) - f(\theta)=&\int_0^1\frac{\partial f(\theta + t\Delta\theta)}{\partial t} dt\\
=&\int_0^1\left\langle\nabla_{\theta} f(\theta + t\Delta\theta), \Delta\theta\right\rangle dt\\
=&\left\langle\nabla_{\theta} f(\theta), \Delta\theta\right\rangle + \int_0^1\left\langle\nabla_{\theta} f(\theta + t\Delta\theta) - \nabla_{\theta} f(\theta), \Delta\theta\right\rangle dt\\
\leq&\left\langle\nabla_{\theta} f(\theta), \Delta\theta\right\rangle + \int_0^1\Vert\nabla_{\theta} f(\theta + t\Delta\theta) - \nabla_{\theta} f(\theta)\Vert_2 \cdot \Vert \Delta\theta\Vert_2 dt\\
\leq&\left\langle\nabla_{\theta} f(\theta), \Delta\theta\right\rangle + \int_0^1 L \Vert \Delta\theta\Vert_2^2 t dt\\
= &\left\langle\nabla_{\theta} f(\theta), \Delta\theta\right\rangle + \frac{1}{2} L \Vert \Delta\theta\Vert_2^2
\end{aligned}\end{equation}

梯度下降 #

假设$f(\theta)$是损失函数，而我们的目标是最小化$f(\theta)$，那么这个不等式告诉我们很多信息。首先，既然是最小化，自然是希望每一步都在下降，即$f(\theta+\Delta\theta) < f(\theta) $，而$\frac{1}{2}L \Vert \Delta\theta\Vert_2^2$必然是非负的，所以要想下降的唯一选择就是$\left\langle \nabla_{\theta}f(\theta), \Delta\theta\right\rangle < 0$，这样一个自然的选择就是
\begin{equation}\Delta\theta = -\eta \nabla_{\theta}f(\theta)\label{eq:gd}\end{equation}
这里$\eta > 0$是一个标量，即学习率。

可以发现，式$\eqref{eq:gd}$就是梯度下降的更新公式，所以这也就是关于梯度下降的一种推导了，而且这个推导过程所包含的信息量更为丰富，因为它是一个严格的不等式，所以它还可以告诉我们关于训练的一些结论。

Lipschitz约束 #

将梯度下降公式代入到不等式$\eqref{eq:core-eq}$，我们得到
\begin{equation}f(\theta+\Delta\theta) \leq f(\theta) + \left(\frac{1}{2}L\eta^2 - \eta\right) \Vert \nabla_{\theta}f(\theta)\Vert_2^2\end{equation}
注意到，保证损失函数下降的一个充分条件是$\frac{1}{2}L\eta^2 - \eta < 0$，为了做到这一点，要不就要$\eta$足够小，要不就要$L$足够小。但是$\eta$足够小意味着学习速度会相当慢，所以更理想的情况是$L$能足够小，降低了$L$就可以用更大的学习率了，能加快学习速度，这也是它的好处之一。

但$L$是$f(\theta)$的内在属性，因此只能通过调整$f$本身来降低$L$。

BN是怎样炼成的 #

本节将会表明：以降低神经网络的梯度的$L$常数为目的，可以很自然地导出BN。也就是说，BN降低了神经网络的梯度的$L$常数，从而使得神经网络的学习更加容易，比如可以使用更大的学习率。而降低梯度的$L$常数，直观来看就是让损失函数没那么“跌宕起伏”，也就是使得landscape更光滑的意思了。

注：我们之前就讨论过$L$约束，之前我们讨论的是神经网络关于“输入”满足$L$约束，这导致了权重的谱正则和谱归一化（请参考《深度学习中的Lipschitz约束：泛化与生成模型》），本文则是要讨论神经网络（的梯度）关于“参数”满足$L$约束，这导致了对输入的各种归一化手段，而BN是其中最自然的一种。

梯度分析 #

以监督学习为例，假设神经网络表示为$\hat{y}=h(x;\theta)$，损失函数取$l(y,\hat{y})$，那么我们要做的事情是
\begin{equation}\theta = \mathop{\arg\min}_{\theta}\, \mathbb{E}_{(x,y)\sim p(x,y)}\left[l(y, h(x;\theta))\right]\end{equation}
也就是$f(\theta)=\mathbb{E}_{(x,y)\sim p(x,y)}\left[l(y, h(x;\theta))\right]$，所以
\begin{equation}\begin{aligned}\nabla_{\theta}f(\theta)=&\mathbb{E}_{(x,y)\sim p(x,y)}\left[\nabla_{\theta}l(y, h(x;\theta))\right]\\
=&\mathbb{E}_{(x,y)\sim p(x,y)}\left[\nabla_{h}l(y, h(x;\theta))\nabla_{\theta}h(x;\theta)\right]\end{aligned}\end{equation}

顺便说明一下，本文的每个记号均没有加粗，但是根据实际情况不同它既有可能表示标量，也有可能表示向量。

非线性假设 #

显然，$f(\theta)$是一个非线性函数，它的非线性来源有两个：

1、损失函数$l(y,\hat{y})$一般是非线性的；

2、神经网络$h(x;\theta)$中的激活函数是非线性的。

关于激活函数，当前主流的激活函数基本上都满足一个特性：导数的绝对值不超过某个常数。我们现在来考虑这个特性能否推广到损失函数中去，即（在整个训练过程中）损失函数的梯度$\nabla_{h}l(y, h(x;\theta))$是否会被局限在某个范围内？

看上去，这个假设通常都是不成立的，比如交叉熵是$-\log p$，而它的导数是$-1/p$，显然不可能被约束在某个有限范围。但是，损失函数联通最后一层的激活函数一起考虑时，则通常是满足这个约束的。比如二分类是最后一层通常用sigmoid激活，这时候配合交叉熵就是
\begin{equation}-\log \text{sigmoid}(h(x;\theta)) = \log \left(1 + e^{-h(x;\theta)}\right)\end{equation}
这时候它关于$h$的的梯度在-1到1之间。当然，确实存在一些情况是不成立的，比如回归问题通常用mse做损失函数，并且最后一层通常不加激活函数，这时候它的梯度是一个线性函数，不会局限在一个有限范围内。这种情况下，我们只能寄望于模型有良好的初始化以及良好的优化器，使得在整个训练过程中$\nabla_{h}l(y, h(x;\theta))$都比较稳定了。这个“寄望”看似比较强，但其实能训练成功的神经网络基本上都满足这个“寄望”。

柯西不等式 #

我们的目的是探讨$\nabla_{\theta}f(\theta)$满足$L$约束的程度，并且探讨降低这个$L$的方法。为此，我们先考虑最简单的单层神经网络（输入向量，输出标量）$h(x;w,b)=g\left(\left\langle x, w\right\rangle + b\right)$，这里的$g$是激活函数。这时候
\begin{equation}\begin{aligned}\mathbb{E}_{(x,y)\sim p(x,y)}\left[\nabla_{b}f(w,b)\right]&=\mathbb{E}_{(x,y)\sim p(x,y)}\left[\frac{\partial l_{w,b}}{\partial g}\dot{g}\left(\left\langle x, w\right\rangle + b\right)\right]\\
\mathbb{E}_{(x,y)\sim p(x,y)}\left[\nabla_{w}f(w,b)\right]&=\mathbb{E}_{(x,y)\sim p(x,y)}\left[\frac{\partial l_{w,b}}{\partial g}\dot{g}\left(\left\langle x, w\right\rangle + b\right)x\right]
\end{aligned}\label{eq:grads}\end{equation}

基于我们的假设，$\frac{\partial l_{w,b}}{\partial g}$和$\dot{g}\left(\left\langle x, w\right\rangle + b\right)$都被限制在某个范围之内，所以可以看到偏置项$b$的梯度是很平稳的，它的更新也应当会是很平稳的。但是$w$的梯度不一样，它跟输入$x$直接相关。

关于$w$的梯度差，我们有
\begin{equation}\begin{aligned}
&\big\Vert\mathbb{E}_{(x,y)\sim p(x,y)}\left[\nabla_{w}f(w+\Delta w,b)\right] - \mathbb{E}_{(x,y)\sim p(x,y)}\left[\nabla_{w}f(w,b)\right]\big\Vert_2\\
=&\Bigg\Vert\mathbb{E}_{(x,y)\sim p(x,y)}\left[\left(\frac{\partial l_{w+\Delta w,b}}{\partial g}\dot{g}\left(\left\langle x, w+\Delta w\right\rangle + b\right) - \frac{\partial l_{w,b}}{\partial g}\dot{g}\left(\left\langle x, w\right\rangle + b\right)\right)x\right]\Bigg\Vert_2
\end{aligned}\end{equation}

将圆括号部分记为$\lambda(x, y; w,b,\Delta w)$，根据前面的讨论，它被约束在某个范围之内，这部分依然是平稳项，既然如此，我们不妨假设它天然满足$L$约束，即
\begin{equation}\Vert\lambda(x, y; w,b,\Delta w)\Vert_2=\mathscr{O}\left(\Vert\Delta w\Vert_2\right)\end{equation}
这时候我们只需要关心好额外的$x$。根据柯西不等式，我们有
\begin{equation}\begin{aligned}&\Big\Vert\mathbb{E}_{(x,y)\sim p(x,y)}\left[\lambda(x, y; w,b,\Delta w) x\right]\Big\Vert_2\\
\leq & \sqrt{\mathbb{E}_{(x,y)\sim p(x,y)}\left[\lambda(x, y; w,b,\Delta w)^2\right]}\times \sqrt{\big|\mathbb{E}_{x\sim p(x)}\left[x\otimes x\right]\big|_1}
\end{aligned}\label{eq:kexi}\end{equation}

这样一来，我们得到了与（当前层）参数无关的$\big|\mathbb{E}_{x\sim p(x)}\left[x\otimes x\right]\big|_1$，如果我们希望降低$L$常数，最直接的方法是降低这一项。

减均值除标准差 #

要注意，虽然我们很希望降低梯度的$L$常数，但这是有前提的——必须在不会明显降低原来神经网络拟合能力的前提下，否则只需要简单乘个0就可以让$L$降低到0了，但这并没有意义。

式$\eqref{eq:kexi}$的结果告诉我们，想办法降低$\big|\mathbb{E}_{x\sim p(x)}\left[x\otimes x\right]\big|_1$是个直接的做法，这意味着我们要对输入$x$进行变换。然后根据刚才的“不降低拟合能力”的前提，最简单并且可能有效的方法就是平移变换了，即我们考虑$x \to x - \mu$，换言之，考虑适当的$\mu$使得
\begin{equation}\big|\mathbb{E}_{x\sim p(x)}\left[(x-\mu)\otimes (x-\mu)\right]\big|_1\end{equation}
最小化。这只不过是一个二次函数的最小值问题，不难解得最优的$\mu$是
\begin{equation}\mu = \mathbb{E}_{x\sim p(x)}\left[x\right]\label{eq:mu}\end{equation}
这正好是所有样本的均值。于是，我们得到：

结论1： 将输入减去所有样本的均值，能降低梯度的$L$常数，是一个有利于优化又不降低神经网络拟合能力的操作。

接着，我们考虑缩放变换，即$x - \mu \to \frac{x - \mu}{\sigma}$，这里的$\sigma$是一个跟$x$大小一样的向量，而除法则是逐位相除。这导致
\begin{equation}\big|\mathbb{E}_{x\sim p(x)}\left[(x-\mu)\otimes (x-\mu)\right]\big|_1 \to \left|\frac{\mathbb{E}_{x\sim p(x)}\left[(x-\mu)\otimes (x-\mu)\right]}{\sigma\otimes \sigma}\right|_1\end{equation}

$\sigma$是对$L$的一个最直接的缩放因子，但问题是缩放到哪里比较好？如果一味追求更小的$L$，那直接$\sigma\to \infty$就好了，但这样的神经网络已经完全没有拟合能力了；但如果$\sigma$太小导致$L$过大，那又不利于优化。所以我们需要一个标准。

以什么为标准好呢？再次回去看梯度的表达式$\eqref{eq:grads}$，前面已经说了，偏置项的梯度不会被$x$明显地影响，所以它似乎会是一个靠谱的标准。如果是这样的话，那相当于将输入$x$的这一项权重直接缩放为1，那也就是说，$\frac{\mathbb{E}_{x\sim p(x)}\left[(x-\mu)\otimes (x-\mu)\right]}{\sigma\otimes \sigma}$变成了一个全1向量，再换言之：
\begin{equation}\sigma = \sqrt{\mathbb{E}_{x\sim p(x)}\left[(x-\mu)\otimes (x-\mu)\right]}\label{eq:sigma}\end{equation}

这样一来，一个相对自然的选择是将$\sigma$取为输入的标准差。这时候，我们能感觉到除以标准差这一项，更像是一个自适应的学习率校正项，它一定程度上消除了不同层级的输入对参数优化的差异性，使得整个网络的优化更为“同步”，或者说使得神经网络的每一层更为“平权”，从而更充分地利用好了整个神经网络，减少了在某一层过拟合的可能性。当然，如果输入的量级过大时，除以标准差这一项也有助于降低梯度的$L$常数。

于是有结论：

结论2： 将输入（减去所有样本的均值后）除以所有样本的标准差，有类似自适应学习率的作用，使得每一层的更新更为同步，减少了在某一层过拟合的可能性，是一个提升神经网络性能的操作。

推导穷，BN现 #

前面的推导，虽然表明上仅以单层神经网络（输入向量，输出标量）为例子，但是结论已经有足够的代表性了，因为多层神经网络本质上也就是单层神经网络的复合而已（关于这个论点，可以参考笔者旧作《从Boosting学习到神经网络：看山是山？》）。

所以有了前面的两个结论，那么BN基本就可以落实了：训练的时候，每一层的输入都减去均值除以标准差即可，不过由于每个batch的只是整体的近似，而期望$\eqref{eq:mu},\eqref{eq:sigma}$是全体样本的均值和标准差，所以BN避免不了的是batch size大点效果才好，这对算力提出了要求。此外，这个分析过程的一个结论是：BN应当放在全连接/卷积前面。

此外，我们还要维护一组变量，把训练过程中的均值方差存起来，供预测时使用，这就是BN中通过滑动平均来统计的均值方差变量了。至于BN的标准设计中，减均值除标准差后还补充上的$\beta,\gamma$项，我认为仅是锦上添花作用，不是最必要的，所以也没法多做解释了。

简单的总结 #

本文从优化角度分析了BN其作用的原理，所持的观点跟《How Does Batch Normalization Help Optimization?》基本一致，但是所用的数学论证和描述方式个人认为会更简单易懂写。最终的结论是减去均值那一项，有助于降低神经网络梯度的$L$常数，而除以标准差的那一项，更多的是起到类似自适应学习率的作用，使得每个参数的更新更加同步，而不至于对某一层、某个参数过拟合。

当然，上述诠释只是一些粗糙的引导，完整地解释BN是一件很难的事情，BN的作用更像是多种因素的复合结果，比如对于我们主流的激活函数来说，$[-1, 1]$基本上都是非线性较强的区间，所以将输入弄成均值为0、方差为1，也能更充分地发挥激活函数的非线性能力，不至于过于浪费神经网络的拟合能力。

总之，神经网络的理论分析都是很艰难的事情，远不是笔者能胜任的，也就只能在这里写写博客，讲讲可有可无的故事来贻笑大方罢了～

转载到请包括本文地址：https://kexue.fm/archives/6992

更详细的转载事宜请参考：《科学空间FAQ》

打赏

微信打赏

支付宝打赏

因为网站后台对打赏并无记录，因此欢迎在打赏时候备注留言。
你还可以点击这里或在下方评论区留言来告知你的建议或需求。