凸优化ADMM(Alternating Direction Method of Multipliers)交替方向乘子算法

介绍

交替方向乘子法（Alternating Direction Method of Multipliers，ADMM）是一种解决可分解凸优化问题的简单方法，尤其在解决大规模问题上卓有成效，利用ADMM算法可以将原问题的目标函数等价的分解成若干个可求解的子问题，然后并行求解每一个子问题，最后协调子问题的解得到原问题的全局解。ADMM 最早分别由 Glowinski & Marrocco 及 Gabay & Mercier 于 1975 年和 1976 年提出，并被 Boyd 等人于 2011 年重新综述并证明其适用于大规模分布式优化问题。由于 ADMM 的提出早于大规模分布式计算系统和大规模优化问题的出现，所以在 2011 年以前，这种方法并不广为人知。

对偶上升方法

对偶分解性

增广拉格朗日（乘子法）

ADMM

全局变量一致性优化(Global Variable Consensus Optimization)

ADMM算法的应用

Lasso问题

可参考如下资料： Distributed Optimization and Statistical Learning via the Alternating Direction Method of Multipliers（第7页到第15页） 分布式计算、统计学习与ADMM算法 https://blog.csdn.net/oBanTianYun/article/details/72590188