最优化问题及梯度下降

视频截图来源于b站： https://www.bilibili.com/video/BV1c741137Ki?from=search&seid=14306241578136111051

最优化问题

在这里插入图片描述

最优化问题的分类

在这里插入图片描述

其实等式约束也可以转换成不等式约束的一种，改变值域即可。

最优化问题的求解

在这里插入图片描述

梯度下降

在这里插入图片描述

左图即为凸函数，右图为非凸函数。 对于凸函数而言，我们可以设置很多种方法让它在一定的时间内收敛到特定精度的一个最优解。 而非凸函数目前没有特别好的方法。 即：在一般的求解中，我们通常认为函数为凸函数。

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

即：函数下降最快的方向，就是梯度方向。

在这里插入图片描述

与之对应，求解最大值时称之为最速上升法或梯度上升。 梯度下降是一个迭代过程：下一步自变量 = 这一步自变量 - 步长 * 梯度。 以下是梯度下降示意图。