深度学习: 鞍点

Introduction

关于 鞍点 的定义：

[1]：

鞍点附近的某些点比鞍点有更大的代价，而其他点则有更小的代价。

[2]：

一个不是局部极值点的驻点称为鞍点。

这里写图片描述

Note:

• 驻点：一阶导数为0；
• 拐点：二阶导数为0。

Example

单变量函数：

鞍点处的一阶导为0，二阶导换正负号。

这里写图片描述

多变量函数：

鞍点处，在某些方向上是峰顶，在其他方向上是谷底。

这里写图片描述

Note:

• 在高维空间中，局部最优很罕见，鞍点很常见 (在低维空间中则相反)；
• 对于模型而言，它并不知道自己究竟走到的是驻点还是局部最优点。所幸的是我们常用带动量的SGD。

[1] Deep Learning [2] 维基百科-鞍点