Jacobin和Hessian矩阵

有时我们需要计算输入和输出都为向量和函数的所有偏导数。包含所有这样的偏导数的矩阵被称为Jacobian矩阵。具体来说,如果我们有一个函数

,

的Jacobian矩阵

定义为

。有时,我们也对导数的导数感兴趣,即二阶导数(second derivative)。例如,有一个函数

的一阶导数(关于

)关于

的导数记为

。二阶导数告诉我们,一阶导数(关于

)关于

的导数记为

。在一维情况下,我们可以将

。二阶导数告诉我们,一阶导数如何随着输入的变化而改变。它表示只基于梯度信息的梯度下降步骤是否会产生如我们预期那样大的改善,因此它是重要的,我们可以认为,二阶导数是对曲率的衡量。假设我们有一个二次函数(虽然实践中许多函数都是二次的,但至少在局部可以很好地用二次近似),如果这样的函数具有零二阶导数,那就没有曲率,也就是一条完全平坦的线,仅用梯度就可以预测它的值。我们使用沿负梯度方向下降代销为

的下降步,当该梯度是1时,代价函数将下降

。如果二阶导数是正的,函数曲线是向上凹陷的(向下凸出的),因此代价函数将下降得比

少。

当我们的函数具有多维输入时,二阶导数也有很多。我们可以将这些导数合并成一个矩阵,称为Hesian矩阵。Hessian矩阵

定义为

Hessian等价于梯度的Jacobian矩阵。

微分算子在任何二阶偏导连续的点处可交换,也就是它们的顺序可以互换:

这意味着

,因此Hessian矩阵在这些点上是对称的。在深度学习背景下,我们遇到的大多数函数的Hessian矩阵几乎都是对称的。因为Hessian矩阵是实对称的,我们可以将其分解成一组实特征值和一组特征向量的正交阵。在特定方向d上的二阶导数可以写成

。当d是H的一个特征向量时,这个方向的二阶导数就是对应的特征值。对于其他的方向d,方向二阶导数是所有特征值的加权平均,且与d夹角越小的特征向量的权重越大。最大特征值确定最大二阶导数,最小特征值确定最小二阶导数。我们可以通过(方向)二阶导数预期一个梯度下降步骤能表现得多好

。我们在当前点

处函数f(x)的近似二阶泰勒级数:

其中g是梯度,H是

点的Hessian。如果我们使用学习率

,那么新的点x将会是

。代入上述的近似,可得

其中有3项:函数的原始值、函数息率导致的预期改善和函数曲率导致的校正。当最后一项太大时,梯度下降实际上是可能向上移动的。当

为零或负时,近似的泰勒级数表明增加

将永远使f下降。在实践中,泰勒级数不会在

大的时候也保持准确,因此在这种情况下我们必须采取更具启发式的选择。当

为正时,通过计算可得,使近似泰勒级数下降最多的最优步长为

最坏的情况下,g与H最大特征值

对应的特征向量对齐,则最优步长是

。当我们要最小化的函数能用二次函数很好地近似的情况下,Hessian的特征值决定了学习率的量级。

二阶导数还可以用于确定一个临界点是否是局部极大值点、局部极小值点或鞍点。回想一下,在临界点处

。而

意味着

会随着我们移向右边而增加,移向左边而减少,也就是

对足够小的

成立。换句话说,当我们移向右边,斜率开始指向右边的上坡;当我们移向左边,斜率开始指向左边的上坡。因此我们得出结论,当

时,x是一个局部极小点。同理,当

时,x是一个局部极大点。这就是所谓的二阶导数测试。不幸的是,当

时,测试是不确定的。在这种情况下,x可以是一个鞍点或平坦区域的一部分。

在多维情况下,我们需要检测函数的所有二阶导数。利用Hessian的特征值分解,我们可以将二阶导数测试扩展到多维情况。在临界点处

,我们通过检测Hessian的特征值来判断该临界点是一个局部极大值、局部极小值还是鞍点。当Hessian是正定的(所有特征值都为正的),则该临界点是局部极小值。因为方向二阶导数在任意方向都是正的,参考单位变量的二阶导数测试就能得出此结论。同样的,当Hessian是负定的(所有特征值都是负的),这个点就是局部极大点。在多维情况下,实际上我们可以找到确定该点是否为鞍点的积极迹象(某些情况下)。如果Hessian的特征值中至少一个是正的且至少一个是负的,那么x是f某个横截面的局部极大点。最后多维二阶导数测试可能像单变量版本那样是不正确的。当所有非零特征值是同号的且至少有一个特征值是0时,这个检测就是不确定的。当所有非零特征值是同号的且至少有一个特征值是0时,这个检测就是不正确的。这是因为单变量的二阶导数测试在零特征值对应的横截面上是不确定的。

多维情况下,单个点处每个方向上的二阶导数是不同的。Hessian的条件数衡量这些二阶导数的变化范围。当Hessian的条件数很差时,梯度下降法也会表现得很差。这是因为一个方向上的导数增加得很快,而在另一个方向上增加得很慢。梯度下降不知道导数的这种变化必须足够小,以免冲过最小而向具有较强曲率的方向上升。这通常意味着步长太少,以至于在其他较小的曲率的方向上进展不明显。

我们可以使用Hessian矩阵的信息来指导搜索,以解决这个问题。其中最简单的方法是牛顿法(Nowton's method)。牛顿法基于一个二阶泰勒展开来近似

附近的f(x):

接着通过计算,我们可以得到这个函数的临界点:

如果f是一个正定二次函数,牛顿法只要应用一次就能直接跳到函数的最小点。如果f不是一个真正二次但能在局部近似为正定二次,牛顿法则需要更多次迭代。迭代地更新近似函数和跳到近似函数的最小点可以比梯度下降更快地到达临界点。这在接近局部极小点是一个特别有用的性质,但是在鞍点附近是有害的。当临界点是最小点(Hessian的所有特征值都是正的)时牛顿法才适用,而梯度下降不会被吸引到鞍点(除非梯度指向鞍点)。仅使用梯度信息的优化称为一阶优化算法,如梯度下降。使用Hessian矩阵的优化算法称为二阶优化算法,如牛顿法。

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 梯度下降及其优化

    偏导数刻画了函数沿坐标轴方向的变化率,但有些时候还不能满足实际需求。为了研究函数沿着任意方向的变化率,就需要用到方向导数。

    于小勇
  • map/unordered_map基础用法

    它的特性总结来讲就是:所有元素都会根据元素的键值key自动排序(也可根据自定义的仿函数进行自定义排序),其中的每个元素都是<key, value>的键值对,ma...

    于小勇
  • 认识python中的inf和nan

    python中的正无穷或负无穷,使用float("inf")或float("-inf")来表示。 这里有点特殊,写成:float("inf"),float("...

    于小勇
  • 3分钟短文:为了你少跳坑,Laravel写好了用户授权

    为了留存用户,我们会想尽办法获取用户的注册,并将其留在应用内。 laravel开发好了一部分用户注册和登陆的代码,如果图省事不要二次开发的, 拿来用就可以了。而...

    程序员小助手
  • iOS地理围栏技术的应用

    王大锤
  • python日志按时间切分-----TimedRotatingFileHandler

    原生loggging类+ TimedRotatingFileHandler类 实现按day hour second 切分 原生loggging类+ Timed...

    财主刀刀
  • Oculus Rift, HTC Vive, SONY PSVR的全面对比

    逍遥剑客
  • Scala学习教程笔记二之函数式编程、Object对象、伴生对象、继承、Trait、

    1:Scala之函数式编程学习笔记: 1:Scala函数式编程学习: 1.1:Scala定义一个简单的类,包含field以及方法,创建类的对象,并且调用...

    别先生
  • 使用JPA中@Query 注解实现update 操作

    使用JPA中@Query 注解实现update 操作,代码如下: @Transactional @Modifying(clearAutomatically = ...

    hbbliyong
  • 实战 | 用aiohttp和uvloop实现一个高性能爬虫

    asyncio于Python3.4引入标准库,增加了对异步I/O的支持,asyncio基于事件循环,可以轻松实现异步I/O操作。接下来,我们用基于asyncio...

    simpleapples

扫码关注云+社区

领取腾讯云代金券