数学知识--Unconstrained Optimization(第一章)

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/zhangjunhit/article/details/88893190

Unconstrained Optimization 3. Edition, March 2004 Poul Erik Frandsen, Kristian Jonasson Hans Bruun Nielsen, Ole Tingleff

1 Introduction 最优化问题,对于一个给定函数 F,我们寻找一个向量 x* 使得 F(x*)为函数局部极小值

函数的最大值问题和最小值问题本质是同一个问题

上面这个函数具有一个唯一的最小值。

第二个函数具有很多个极小值

第三个函数具有一个全局极小值和很多个局部极小值

1.1. Conditions for a Local Minimizer 局部极小值的条件

我们假定 f 二阶偏微分是连续的。在点 x 邻域内 x+h 位置 对函数进行一阶泰勒展开

If the point x is a local minimizer it is not possible to find an h so that f(x+h) < f(x) with ||h|| small enough 由此我们得到 局部极小值点的一个必要条件

Stationary point

对 f 在 x+h 处 泰勒展开

对于一个 stationary point,其一阶导数为 0,所以

如果对于所有的 h 上面公式右边第二项都是 正值,我们就说 f’’(xs) 是正定的 positive definite

stationary point 分类:

如果 f’’(xs) =0 我们就需要分析更高阶泰勒项来找极小值

11

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

扫码关注云+社区

领取腾讯云代金券