Jacobian矩阵和Hessian矩阵

Taylor Theorem

Taylor’s Theorem：

泰勒定理讲的是：有一个函数f(x)f(x)，是可微函数并且足够光滑。那么在函数某一个点的各阶导数值已知的情况下，泰勒公式可以用这些导数值作为多项式的系数，来近似函数在这一点的邻域中的值。 这个多项式就是泰勒多项式。 泰勒公式还给出了余项即这个多项式和实际函数值之间的偏差。

泰勒公式

这里写图片描述

泰勒定理

这里写图片描述

泰勒级数

泰勒级数是泰勒多项式的趋于无穷的极限，泰勒多项式是泰勒级数的截断。 两者都是建立在泰勒定理的基础上。泰勒定理讲述的是：函数如果在a点可微连续光滑的情况下，以各阶偏导数为系数的多项式可以无穷逼近a的邻域的点x。

这里写图片描述

余项估计

这里写图片描述

Jacobian矩阵

雅可比矩阵的重要性在于它体现了一个可微方程与给出点的最优线性逼近. 因此, 雅可比矩阵类似于多元函数的导数。

这里写图片描述

Hessian矩阵

这里写图片描述

Hessian的应用

求解方程

这里写图片描述

最优化

这里写图片描述

参考资料

1. 博客1