专栏首页机器学习、深度学习数学知识--Methods for Non-Linear Least Squares Problems(第一章)

数学知识--Methods for Non-Linear Least Squares Problems(第一章)

Methods for Non-Linear Least Squares Problems 非线性最小二乘问题的方法 2nd Edition, April 2004 K. Madsen, H.B. Nielsen, O. Tingleff

1 Introduction and Definitions 第一章 介绍和定义

这本小册子主要关注 Least Squares Problem

最小二乘问题是全局最优化问题的一个特例,全局最优化问题:

这个问题很难,一般情况下我们寻找 F 的一个局部极小解

这里我们假定 cost function F 是 differentiable 以及足够平滑,其泰勒展开如下:

如果 x* 是一个局部极小值,||h|| 足够的小,那么我们就不能找到一个点 x*+h 使其对应的 F 值更小,我们根据这个 observation 并结合 (1.4a) 得到如下结论:

所以一个局部极小解的点 同时也是一个 stationary point,但是局部极大值点也是一个 stationary point。如果一个 stationary point 既不是局部极大值也不是局部极小值点,它就称之为 saddle point,为了确定一个给定的 stationary point 是不是一个局部极小值点,我们需要在泰勒展开中包含二阶项。

注意: 根据 stationary point 的定义, 上面的一阶项为 0,所以泰勒展开就没有了一阶项。

根据 Hessian 的定义,我们知道任意的 H 是一个 对称矩阵,如果我们要求 Hs 是 正定 positive definite,那么其对应的所有特征值大于一个数 δ >0

所以如果 ||h|| 足够小,(1.7)式右边的第三项受二阶主导,而二阶项始终为 正,所以我们的得到

假定 xs 是一个 stationary point, F”(xs)是正定,那么 xs 是一个极小值点。如果 Hs 是负定,那么 xs 是一个局部极大值点。 如果 Hs 是 indefinite(同时具有正负特征值),xs 是一个 saddle point

111

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 统计学习导论 Chapter4--Classification

    Book: An Introduction to Statistical Learning with Appli...

    用户1148525
  • 人群密度估计

    DecideNet: Counting Varying Density Crowds Through Attention Guided Detection an...

    用户1148525
  • Levenberg-Marquardt算法浅谈

    在讲Levenberg-Marquardt算法之前我想先谈下牛顿法和高斯牛顿法。

    用户1148525
  • Django-中间件-csrf扩展请求伪造拦截中间件-Django Auth模块使用-效仿 django 中间件配置实现功能插拔式效果-09

    django 中间件 就类似于是 django 的门户,请求来的时候需要先经过 中间件 才能到达 django 后端(urls),响应走的时候也需要经过 中间件...

    suwanbin
  • python 进程

    [chaoge@localhost ~]$ line19:fork进程0,PID=1628,父PID=1

    py3study
  • 表情包:我也需要版权保护

    随着互联网技术的快速发展,社交APP已经占据了人们的大部分生活。现在的沟通、交涉、工作等等都不再是单纯的电话或者短信,而大部分都使用社交平台。当文字满足不了人们...

    墨者安全科技
  • 请收好这一份全面 & 详细的Android学习指南

    版权声明:本文为博主原创文章,未经博主允许不得转载,更多请继续关注Carson_Ho htt...

    Carson.Ho
  • 为什么云计算更适合灾难恢复

    在对灾难恢复(DR)架构进行任何实际更改之前,第一步是评估需要在紧急情况下进行保护的整个IT环境。最好的方法是确定哪些服务和功能会因延长停机时间而受到最大损害,...

    静一
  • KMS激活Windows与Office vol版

    用户1086810
  • Anaconda下安装2个Python环

    在已经安装了一个Python3的情况下,因为项目需要搭建一个Python2的环境,所以想在Anaconda下搭建第二个Python环境。

    py3study

扫码关注云+社区

领取腾讯云代金券