完结篇 I 机器学习与运筹优化(七)常见优化算法小结

在本系列的机器学习与运筹优化基础笔记中,我们主要介绍了机器学习中常见的几种优化算法。作为系列的完结篇,我们来总结一下连续优化问题中的常见算法。

1. 无导数优化方法

1.1选点法,蒙特卡洛方法,黄金分割法

1.2子空间迭代法,JFNK算法

1.3智能优化方法,模拟退火,粒子群,遗传算法

1.4 其他

2. 一阶导数优化方法(包括次梯度和投影)

2.1梯度下降法,其中包括精确步长梯度法,最速下降法,BB法以及非精确步长梯度法,Heavy ball法,momentum,nesterov,adam等,用于小规模问题

2.2坐标下降法随机梯度下降法等,对于大规模问题减小梯度法的计算量

2.3次梯度法,次梯度投影法等,用于次可微函数

2.4拟牛顿法,PFP法,BFGS法,L-BFGS法等,近似Hessian矩阵减少计算量,用于大规模问题

2.5共轭梯度法,复杂度只有O(n),用于大规模问题

2.6椭球法,用于拟凸函数问题

2.7罚函数法拉格朗日乘子法,把约束条件当做惩罚项或考虑鞍点问题,用于约束优化问题

2.8投影法,投影梯度法ADMM,PDHG等,用于不可微函数的约束优化问题

2.9 其他

3. 二阶导数优化方法

3.1牛顿法,用于Hessian矩阵计算量不大的小规模问题

3.2序列二次规划法(SQP),用于约束优化问题

3.3内点法,用于约束优化问题,也有内点法属于一阶优化算法

3.4 其他

4. 其他(机器学习不常见的传统优化领域算法)

4.1信赖域法,与以上的线搜索方法不同的思路

4.2线性规划方法,单纯形法,最大流与最小割算法

4.3半定规划方法(SDP),与上述算法有很多结合

4.4组合优化方法

4.5量子优化方法,量子退火,量子半定规划(QSDP),量子逼近优化算法(QAOA)

4.6 其他

作为基础到不能再基础的机器学习与运筹优化学习笔记,前几期只是对上述算法中有代表性的几个进行了简单介绍,还有很多不同观点的优化算法没有包含在内,如mirror descent等。感兴趣的欢迎查阅。

最后,火龙果一号也为柚子优化打call,对优化感兴趣的欢迎和量子星图的火龙果一号和柚子优化联系交流~作者水平有限,不准确之处欢迎各位指出。完结撒花~

参考文献:

[1]Boyd, Stephen, and Lieven Vandenberghe. Convex optimization. Cambridge university press, 2004.

[2]袁亚湘, 孙文瑜. "最优化理论与方法." 科学出版社, 1997 年 1 月 (1997).

作者:火龙果一号

编辑:蜜汁酱

  • 发表于:
  • 原文链接https://kuaibao.qq.com/s/20180609G1JR7M00?refer=cp_1026
  • 腾讯「云+社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。

扫码关注云+社区

领取腾讯云代金券