临界点其实不一定是在训练一个网络的时候会遇到的最大的障碍。图 3.18 中的横坐标代表参数更新的次数，竖坐标表示损失。一般在训练一个网络的时候，损失原来很大，随着参数不断的更新，损失会越来越小，最后就卡住了，损失不再下降。当我们走到临界点的时候，意味着梯度非常小，但损失不再下降的时候，梯度并没有真的变得很小，图 3.19 给出了示例。图 3.19 中横轴是迭代次数，竖轴是梯度的范数（norm），即梯度这个向量的长度。随着迭代次数增多，虽然损失不再下降，但是梯度的范数并没有真的变得很小。

图 3.20 是误差表面，梯度在山谷的两个谷壁间，不断地来回“震荡”，这个时候损失不会再下降，它不是真的卡到了临界点，卡到了鞍点或局部最小值。但它的梯度仍然很大，只是损失不一定再减小了。所以训练一个网络，训练到后来发现损失不再下降的时候，有时候不是卡在局部最小值或鞍点，只是单纯的损失无法再下降。

我们现在训练一个网络，训练到现在参数在临界点附近，再根据特征值的正负号判断该临界点是鞍点还是局部最小值。实际上在训练的时候，要走到鞍点或局部最小值，是一件困难的事情。一般的梯度下降，其实是做不到的。用一般的梯度下降训练，往往会在梯度还很大的时候，损失就已经降了下去，这个是需要特别方法训练的。要走到一个临界点其实是比较困难的，多数时候训练在还没有走到临界点的时候就已经停止了。

举个例子，我们有两个参数 $w$ 和 $b$，这两个参数值不一样的时候，损失值也不一样，得到了图3.21所示的误差表面，该误差表面的最低点在叉号处。事实上，该误差表面是凸的形状。凸的误差表面的等高线是椭圆形的，椭圆的长轴非常长，短轴相比之下比较短，其在横轴的方向梯度非常小，坡度的变化非常小，非常平坦；其在纵轴的方向梯度变化非常大，误差表面的坡度非常陡峭。现在我们要从黑点（初始点）来做梯度下降。

学习率 $\eta ={10}^{-2}$ 的结果如图3.22(a)所示。参数在峡谷的两端，参数在山壁的两端不断地“震荡”，损失降不下去，但是梯度仍然是很大的。我们可以试着把学习率设小一点，学习率决定了更新参数的时候的步伐，学习率设太大，步伐太大就无法慢慢地滑到山谷里面。调学习率从 ${10}^{-2}$ 调到 ${10}^{-7}$ 的结果如图3.22(b)所示，参数不再“震荡”了。参数会滑到山谷底后左转，但是这个训练永远走不到终点，因为学习率已经太小了。AB段的坡度很陡，梯度的值很大，还能够前进一点。左拐以后，BC段的坡度已经非常平坦了，这种小的学习率无法再让训练前进。事实上在BC段有10万个点（10万次更新），但都无法靠近局部最小值，所以显然就算是一个凸的误差表面，梯度下降也很难训练。

最原始的梯度下降连简单的误差表面都做不好，因此需要更好的梯度下降的版本。在梯度下降里面，所有的参数都是设同样的学习率，这显然是不够的，应该要为每一个参数定制化学习率，即引入自适应学习率（adaptive learning rate）的方法，给每一个参数不同的学习率。如图 3.23 所示，如果在某一个方向上，梯度的值很小，非常平坦，我们会希望学习率调大一点；如果在某一个方向上非常陡峭，坡度很大，我们会希望学习率可以设得小一点。

AdaGrad

AdaGrad(Adaptive Gradient)是典型的自适应学习率方法，其能够根据梯度大小自动调整学习率。AdaGrad可以做到梯度比较大的时候，学习率就减小，梯度比较小的时候，学习率就放大。

梯度下降更新某个参数 ${\theta }_t^i$ 的过程为

$${\theta }_{t+1}^i\leftarrow {\theta }_t^i-\eta g_t^i(3.14)$$

${\theta }_t^i$ 在第 $t$ 个迭代的值减掉在第 $t$个迭代参数 $i$算出来的梯度

$$g_t^i={\frac{\partial L}{\partial {\theta }^i}|}_{\theta ={\theta }_t}(3.15)$$

$g_t^i$ 代表在第 $t$个迭代，即 $\theta ={\theta }_t$ 时，损失 $L$ 关于参数 ${\theta }^i$ 的偏导，学习率是固定的。

现在要有一个随着参数定制化的学习率，即把原来学习率 $\eta$ 变成 $\frac{\eta }{{\sigma }_t^i}$：

$${\theta }_{t+1}^i\leftarrow {\theta }_t^i-\frac{\eta }{{\sigma }_t^i}{g}_t^i(3.16)$$

${\sigma }_t^i$ 的上标为 $i$，这代表参数 $\sigma$ 与 $i$ 相关，不同的参数的 $\sigma$ 不同。${\sigma }_t^i$ 的下标为 $t$，这代表参数 $\sigma$ 与迭代相关，不同的迭代也会有不同的 $\sigma$。学习率从 $\eta$ 改成 $\frac{\eta }{{\sigma }_t^i}$ 的时候，学习率就变得参数相关（parameter dependent）。

参数相关的一个常见的类型是算梯度的均方根（root mean square）。参数的更新过程为

$${\theta }_1^i\leftarrow {\theta }_0^i-\frac{\eta }{{\sigma }_0^i}{g}_0^i(3.17)$$

其中 ${\theta }_0^i$ 是初始化参数。而 ${\sigma }_0^i$ 的计算过程为

$${\sigma }_0^i=\sqrt{{\left(g_0^i\right)}^2}=\left|g_0^i\right|(3.18)$$

其中 $g_0^i$ 是梯度。将 ${\sigma }_0^i$ 的值代入更新的公式可知 $\frac{g_0^i}{{\sigma }_0^i}$ 的值是 +1 或 -1。第一次在更新参数，从 ${\theta }_0^i$ 更新到 ${\theta }_1^i$ 的时候，要么是加上 $\eta$，要么是减掉 $\eta$，跟梯度的大小无关，这个是第一步的情况。

第二次更新参数过程为

$${\theta }_2^i\leftarrow {\theta }_1^i-\frac{\eta }{{\sigma }_1^i}{g}_1^i(3.19)$$

其中 ${\sigma }_1^i$ 是过去所有计算出来的梯度的平方的平均再开根号，即均方根，如式(3.20)所示。

$${\sigma }_1^i=\sqrt{\frac{1}{2}[{\left(g_0^i\right)}^2+{\left(g_1^i\right)}^2]}(3.20)$$

同样的操作反复继续下去，如式(3.21)所示。

$${\theta }_3^i\leftarrow {\theta }_2^i-\frac{\eta }{{\sigma }_2^i}{g}_2^i{\sigma }_2^i=\sqrt{\frac{1}{3}[{\left(g_0^i\right)}^2+{\left(g_1^i\right)}^2+{\left(g_2^i\right)}^2]}(3.21)$$

第 $t+1$ 次更新参数的时候，即

$${\theta }_{t+1}^i\leftarrow {\theta }_t^i-\frac{\eta }{{\sigma }_t^i}{g}_t^i{\sigma }_t^i=\sqrt{\frac{1}{t+1}\sum _{j=0}^t{\left(g_j^i\right)}^2}(3.22)$$

$\frac{\eta }{{\sigma }_t^i}$ 当作是新的学习率来更新参数。

图 3.24中有两个参数：${\theta }^1$ 和 ${\theta }^2$。${\theta }^1$ 坡度小，${\theta }^2$ 坡度大。因为 ${\theta }^1$ 坡度小，根据式(3.22), ${\theta }^1$ 这个参数上面算出来的梯度值都比较小，因为梯度算出来的值比较小，所以算出来的 ${\sigma }_t^i$ 就小，${\sigma }_t^i$ 小学习率就大。反过来，${\theta }^2$ 坡度大，所以计算出的梯度都比较大，${\sigma }_t^i$ 就比较大，在更新的时候，步伐（参数更新的量）就比较小。因此有了 ${\sigma }_t^i$ 这一项以后，就可以随着梯度的不同，每一个参数的梯度的不同，来自动调整学习率的大小。

RMSProp

同一个参数需要的学习率，也会随着时间而改变。在图 3.25中的误差表面中，如果考虑横轴方向，绿色箭头处坡度比较陡峭，需要较小的学习率，但是走到红色箭头处，坡度变得平坦了起来，需要较大的学习率。因此同一个参数的同个方向，学习率也是需要动态调整的，于是就有了一个新的方法 - RMSprop(Root Mean Squared propagation)。

RMSprop没有论文，Geoffrey Hinton在 Coursera上开过深度学习的课程，他在他的课程里面讲了 RMSprop，如果要引用，需要引用对应视频的链接。

RMSprop第一步跟 Adagrad的方法是相同的，即

$${\sigma }_0^i=\sqrt{{\left(g_0^i\right)}^2}=\left|g_0^i\right|(3.23)$$

第二步更新过程为

$${\theta }_2^i\leftarrow {\theta }_1^i-\frac{\eta }{{\sigma }_1^i}{g}_1^i{\sigma }_1^i=\sqrt{\alpha {\left({\sigma }_0^i\right)}^2+(1-\alpha ){\left(g_1^i\right)}^2}\text{(3.24)}$$

其中 $0<\alpha <1$，其是一个可以调整的超参数。计算 ${\theta }_1^i$ 的方法跟 AdaGrad算均方根不一样，在算均方根的时候，每一个梯度都有同等的重要性，但在 RMSprop里面，可以自己调整现在的这个梯度的重要性。如果$\alpha$设很小趋近于0，代表g’相较于之前算出来的梯度而言，比较重要；如果$\alpha$ 设很大趋近于1，代表g比较不重要，之前算出来的梯度比较重要。同样的过程就反复继续下去，如式（3.25）所示。

$$\begin{gathered} {\theta }_{t+1}^i\leftarrow {\theta }_t^i-\frac{\eta }{\sqrt{\alpha ({\sigma }_t^i{)}^2+(1-\alpha )(g_t^i{)}^2}}{g}_t^i \\ {\sigma }_{t+1}^i=\sqrt{\alpha ({\sigma }_t^i{)}^2+(1-\alpha )(g_t^i{)}^2}(3.25) \end{gathered}$$

RMSProp 通过 $\alpha$ 可以决定，$g_t^i$ 相较于之前存在 ${\sigma }_t^i$ 里面的 $g_0^i,g_1^i,\dots ,g_{t-1}^i$ 的重要性有多大。如果使用 RMSprop，就可以动态调整 ${\sigma }_t^i$ 这一项。图3.26 中黑线是误差表面，球就从A走到B，AB段的路很平坦，$g_t^i$ 很小，更新参数的时候，我们会走比较大的步伐。走到 BC 段后梯度变大了，AdaGrad 反应比较慢，而 RMSprop 会把 $\alpha$ 设小一点，让新的、刚看到的梯度的影响比较大，很快地让 ${\sigma }_t^i$ 的值变大，很快地让步伐变小，RMSprop 可以很快地“踩刹车”。如果走到 CD 段，CD 段是平坦的地方，可以调整$\alpha$，让其比较看重最近算出来的梯度，梯度一变小，${\sigma }_t^i$ 的值就变小了，走的步伐就变大了。

Adam

最常用的优化的策略或者优化器（optimizer）是Adam（Adaptive moment estimation）。Adam 可以看作 RMSprop 加上动量，其使用动量作为参数更新方向，并且能够自适应调整学习率。PyTorch 里面已经写好了 Adam 优化器，这个优化器里面有一些超参数需要人为决定，但是往往用 PyTorch 预设的参数就足够好了。

学习率调整

如图3.22所示的简单的误差表面，我们都训练不起来，加上自适应学习率以后，使用AdaGrad方法优化的结果如图3.27所示。一开始优化的时候很顺利，在左转的时候，有AdaGrad以后，可以再继续走下去，走到非常接近终点的位置。走到BC段时，因为横轴方向的梯度很小，所以学习率会自动变大，步伐就可以变大，从而不断前进。接下来的问题走到图3.27中红圈的地方，快走到终点的时候突然“爆炸”了。${\sigma }_t^i$是把过去所有的梯度拿来作平均。在AB段梯度很大，但在BC段，纵轴的方向梯度很小，因此纵轴方向累积了很小的${\sigma }_t^i$，累积到一定程度以后，步伐就变很大，但有办法修正回来。因为步伐很大，其会走到梯度比较大的地方。走到梯度比较大的地方后，${\sigma }_t^i$会慢慢变大，更新的步伐大小会慢慢变小，从而回到原来的路线。

通过学习率调度 (learning rate scheduling) 可以解决这个问题。之前的学习率调整方法中 $\eta$ 是一个固定的值，而在学习率调度中 $\eta$ 跟时间有关，如式(3.26)所示。学习率调度中最常见的策略是学习率衰减 (learning rate decay)，也称为学习率退火 (learning rate annealing)。随着参数的不断更新，让 $\eta$ 越来越小，如图 3.28所示。图 3.27的情况，如果加上学习率下降，可以很平顺地走到终点，如图 3.29所示。在图 3.27红圈的地方，虽然步伐很大，但 $\eta$ 变得非常小，步伐乘上 $\eta$ 就变小了，就可以慢慢地走到终点。

$${\theta }_{t+1}^i\leftarrow {\theta }_t^i-\frac{{\eta }_t}{{\sigma }_t^i}{g}_t^i(3.26)$$

除了学习率下降以外，还有另外一个经典的学习率调度的方式——预热。预热的方法是让学习率先变大后变小，至于变到多大、变大的速度、变小的速度是超参数。残差网络 ${}^{[8]}$ 里面是有预热的，在残差网络里面，学习率先设置成 0.01，再设置成 0.1，并且其论文还特别说明，一开始用 0.1 反而训练不好。除了残差网络，BERT和 Transformer的训练也都使用了预热。

Q: 为什么需要预热? A: 当我们使用Adam、RMSprop或AdaGrad时，需要计算 $\sigma$。而 $\sigma$ 是一个统计的结果。从 $\sigma$ 可知某一个方向的陡峭程度。统计的结果需要足够多的数据才精准，一开始统计结果 $\sigma$ 是不精准的。一开始学习率比较小是用来探索收集一些有关误差表面的情报，先收集有关 $\sigma$ 的统计数据，等 $\sigma$ 统计得比较精准以后，再让学习率慢慢爬升。如果读者想要学更多有关预热的东西可参考Adam的进阶版 - RAdam[9]。

所以我们从最原始的梯度下降，进化到这一个版本，如式(3.27)所示。

$${\theta }_{t+1}^i\leftarrow {\theta }_t^i-\frac{{\eta }_t}{{\sigma }_t^i}{m}_t^i(3.27)$$

其中 $m_t^i$ 是动量。

这个版本里面有动量，其不是顺着某个时刻算出的梯度方向来更新参数，而是把过去所有算出梯度的方向做一个加权总和当作更新的方向。接下来的步伐大小为 $\frac{m_t^i}{{\sigma }_t^i}$。最后通过 ${\eta }_t$ 来实现学习率调度。这个是目前优化的完整的版本，这种优化器除了 Adam以外，还有各种变形。但其实各种变形是使用不同的方式来计算 $m_t^i$ 或 ${\sigma }_t^i$，或者是使用不同的学习率调度的方式。

Q: 动量 $m_t^i$ 考虑了过去所有的梯度，均方根 ${\sigma }_t^i$ 考虑了过去所有的梯度，一个放在分子，一个放在分母，并且它们都考虑过去所有的梯度，不就是正好抵消了吗? A: $m_t^i$ 和 ${\sigma }_t^i$ 在使用过去所有梯度的方式是不一样的，动量是直接把所有的梯度都加