干货书！基于单调算子的大规模凸优化

来源：专知本文为书籍，建议阅读5分钟本书为一阶凸优化方法提供了强大的更高层次的见解。

我们写这本书是为了分享一个优雅的视角，它为一阶凸优化方法提供了强大的更高层次的见解。一阶凸优化方法更有效地解决大规模优化问题的研究始于20世纪60年代和70年代，但当时该领域的重点是二阶方法，后者更有效地解决较小的问题。21世纪初，随着计算能力的提高和大数据的可用性，一阶优化方法成为主流。在这个现代时代，作者进入优化领域，发现(但没有发明)上述观点，我们希望通过本书分享它。

https://large-scale-book.mathopt.com/

我们的目标是通过单调算子的抽象对凸优化算法进行统一的分析。

这本书是为数学家和工程师准备的。我们通过展示抽象是优雅的，并且在某些方面具有挑战性(有趣)来吸引数学家。我们呼吁工程师，用户的优化，与简单的技术和算法的多样性。在一些例子中，我们遇到过只知道梯度下降和ADMM的工程师，它们虽然很强大，但并不是普遍可行或最佳的选择。这本书使读者能够选择甚至设计最适合任何给定问题的分割方法。对读者的背景要求是对高级微积分、线性代数、基本概率以及凸分析的基本概念有良好的了解，这些知识涉及到Boyd和Vandenberghe的凸优化的第2章到第5章的凸集、凸函数、凸优化问题和凸对偶。(数学)分析和测量理论的概率论背景是有帮助的，但不是必要的。非正式地，这本书预设了对凸优化的兴趣，并欣赏它作为一个有用的工具。为了使讨论简明扼要，我们将重点放在优化算法上，而不是讨论算法解决的优化问题的工程和科学起源。

• Announcement
• Introduction and Preliminaries
• Monotone operators and base splitting schemes 
  • Set-valued operators
  • Monotone operators
  • Nonexpansive and averaged operators, Fixed-point iteration
  • Resolvent
  • Proximal point method, Operator splitting
  • Variable metric methods
• Primal-dual methods
  • Infimal postcomposition technique
  • Dualization technique
  • Variable metric technique
  • Gaussian Elimination Technique
  • Linearization technique
• Parallel computing
• Stochastic coordinate update methods
• Asynchronous coordinate update methods 
• Stochastic optimization
• ADMM-type methods 
  • FLiP-ADMM
  • Derived ADMM-type methods
• Duality in splitting methods 
• Maximality and monotone operator theory 
• Distributed and decentralized optimization
• Acceleration
• Scaled relative graphs