最优化的概述

推荐阅读时间5min~8min

主要内容:最近在学习机器学习方面的算法知识,这里尽量以通俗易懂的方式将其整理一下,一方面以备自己查阅,另一方面如果可以方便他人则更好。

-------------------------

作者:Herbert002

博客地址:https://www.jianshu.com/p/fe2e7f0e89e5

1

什么是凸优化

不严格的说,凸优化就是在标准优化问题的范畴内,要求目标函数和约束函数是凸函数的一类优化问题。

2

重要性

凸优化之所以如此重要,是因为:

1、其应用非常广泛,机器学习中很多优化问题都要通过凸优化来求解;

2、在非凸优化中,凸优化同样起到重要的作用,很多非凸优化问题,可以转化为凸优化问题来解决;

3、如上引用所述,凸优化问题可以看作是具有成熟求解方法的问题,而其他优化问题则未必。

3

凸优化知识体系

凸集,定义目标函数和约束函数的定义域。

凸函数,定义优化相关函数的凸性限制。

凸优化,中心内容的标准描述。

凸优化问题求解,核心内容。相关算法,梯度下降法、牛顿法、内点法等。

对偶问题,将一般优化问题转化为凸优化问题的有效手段,求解凸优化问题的有效方法。

4

标准优化问题

5

凸优化问题

  • 发表于:
  • 原文链接:http://kuaibao.qq.com/s/20171228B07KYJ00?refer=cp_1026

同媒体快讯

相关快讯

扫码关注云+社区