数学知识--Methods for Non-Linear Least Squares Problems(第一章)

Methods for Non-Linear Least Squares Problems 非线性最小二乘问题的方法 2nd Edition, April 2004 K. Madsen, H.B. Nielsen, O. Tingleff

1 Introduction and Definitions 第一章 介绍和定义

这本小册子主要关注 Least Squares Problem

最小二乘问题是全局最优化问题的一个特例,全局最优化问题:

这个问题很难,一般情况下我们寻找 F 的一个局部极小解

这里我们假定 cost function F 是 differentiable 以及足够平滑,其泰勒展开如下:

如果 x* 是一个局部极小值,||h|| 足够的小,那么我们就不能找到一个点 x*+h 使其对应的 F 值更小,我们根据这个 observation 并结合 (1.4a) 得到如下结论:

所以一个局部极小解的点 同时也是一个 stationary point,但是局部极大值点也是一个 stationary point。如果一个 stationary point 既不是局部极大值也不是局部极小值点,它就称之为 saddle point,为了确定一个给定的 stationary point 是不是一个局部极小值点,我们需要在泰勒展开中包含二阶项。

注意: 根据 stationary point 的定义, 上面的一阶项为 0,所以泰勒展开就没有了一阶项。

根据 Hessian 的定义,我们知道任意的 H 是一个 对称矩阵,如果我们要求 Hs 是 正定 positive definite,那么其对应的所有特征值大于一个数 δ >0

所以如果 ||h|| 足够小,(1.7)式右边的第三项受二阶主导,而二阶项始终为 正,所以我们的得到

假定 xs 是一个 stationary point, F”(xs)是正定,那么 xs 是一个极小值点。如果 Hs 是负定,那么 xs 是一个局部极大值点。 如果 Hs 是 indefinite(同时具有正负特征值),xs 是一个 saddle point

111

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

扫码关注云+社区

领取腾讯云代金券