最优化的概述

推荐阅读时间5min~8min

主要内容：最近在学习机器学习方面的算法知识，这里尽量以通俗易懂的方式将其整理一下，一方面以备自己查阅，另一方面如果可以方便他人则更好。

-------------------------

作者：Herbert002

博客地址：https://www.jianshu.com/p/fe2e7f0e89e5

1

什么是凸优化

不严格的说，凸优化就是在标准优化问题的范畴内，要求目标函数和约束函数是凸函数的一类优化问题。

2

重要性

凸优化之所以如此重要，是因为：

1、其应用非常广泛，机器学习中很多优化问题都要通过凸优化来求解；

2、在非凸优化中，凸优化同样起到重要的作用，很多非凸优化问题，可以转化为凸优化问题来解决；

3、如上引用所述，凸优化问题可以看作是具有成熟求解方法的问题，而其他优化问题则未必。

3

凸优化知识体系

凸集，定义目标函数和约束函数的定义域。

凸函数，定义优化相关函数的凸性限制。

凸优化，中心内容的标准描述。

凸优化问题求解，核心内容。相关算法，梯度下降法、牛顿法、内点法等。

对偶问题，将一般优化问题转化为凸优化问题的有效手段，求解凸优化问题的有效方法。

4

标准优化问题

5

凸优化问题