首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    Jacobin和Hessian矩阵

    有时我们需要计算输入和输出都为向量和函数的所有偏导数。包含所有这样的偏导数的矩阵被称为Jacobian矩阵。具体来说,如果我们有一个函数 , 的Jacobian矩阵 定义为 。有时,我们也对导数的导数感兴趣,即二阶导数(second derivative)。例如,有一个函数 , 的一阶导数(关于 )关于 的导数记为 为 。二阶导数告诉我们,一阶导数(关于 )关于 的导数记为 。在一维情况下,我们可以将 为 。二阶导数告诉我们,一阶导数如何随着输入的变化而改变。它表示只基于梯度信息的梯度下降步骤是否会产生如我们预期那样大的改善,因此它是重要的,我们可以认为,二阶导数是对曲率的衡量。假设我们有一个二次函数(虽然实践中许多函数都是二次的,但至少在局部可以很好地用二次近似),如果这样的函数具有零二阶导数,那就没有曲率,也就是一条完全平坦的线,仅用梯度就可以预测它的值。我们使用沿负梯度方向下降代销为 的下降步,当该梯度是1时,代价函数将下降 。如果二阶导数是正的,函数曲线是向上凹陷的(向下凸出的),因此代价函数将下降得比 少。

    02
    领券