数学知识--Methods for Non-Linear Least Squares Problems（第一章）

Methods for Non-Linear Least Squares Problems 非线性最小二乘问题的方法 2nd Edition, April 2004 K. Madsen, H.B. Nielsen, O. Tingleff

1 Introduction and Definitions 第一章 介绍和定义

这本小册子主要关注 Least Squares Problem

在这里插入图片描述

最小二乘问题是全局最优化问题的一个特例，全局最优化问题：

在这里插入图片描述

这个问题很难，一般情况下我们寻找 F 的一个局部极小解

在这里插入图片描述

这里我们假定 cost function F 是 differentiable 以及足够平滑，其泰勒展开如下：

在这里插入图片描述

如果 x* 是一个局部极小值，||h|| 足够的小，那么我们就不能找到一个点 x*+h 使其对应的 F 值更小，我们根据这个 observation 并结合 (1.4a) 得到如下结论：

在这里插入图片描述

所以一个局部极小解的点 同时也是一个 stationary point，但是局部极大值点也是一个 stationary point。如果一个 stationary point 既不是局部极大值也不是局部极小值点，它就称之为 saddle point，为了确定一个给定的 stationary point 是不是一个局部极小值点，我们需要在泰勒展开中包含二阶项。

在这里插入图片描述

注意： 根据 stationary point 的定义， 上面的一阶项为 0，所以泰勒展开就没有了一阶项。

根据 Hessian 的定义，我们知道任意的 H 是一个 对称矩阵，如果我们要求 Hs 是 正定 positive definite，那么其对应的所有特征值大于一个数 δ >0

在这里插入图片描述

所以如果 ||h|| 足够小，（1.7）式右边的第三项受二阶主导，而二阶项始终为 正，所以我们的得到

在这里插入图片描述

假定 xs 是一个 stationary point， F”（xs）是正定，那么 xs 是一个极小值点。如果 Hs 是负定，那么 xs 是一个局部极大值点。 如果 Hs 是 indefinite（同时具有正负特征值），xs 是一个 saddle point

111