凸优化及无约束最优化

很多年前，我的师兄 Jian Zhu 在这里发表过一个系列《无约束最优化》，当时我写下了一段话:

估计有些读者看到这个题目的时候会觉得很数学，和自然语言处理没什么关系，不过如果你听说过最大熵模型、条件随机场，并且知道它们在自然语言处理中被广泛应用，甚至你明白其核心的参数训练算法中有一种叫LBFGS，那么本文就是对这类用于解无约束优化算法的Quasi-Newton Method的初步介绍。

事实上，无论机器学习还是机器学习中的深度学习，数值优化算法都是核心之一，而在这方面，斯坦福大学Stephen Boyd教授等所著的《凸优化》堪称经典：Convex Optimization – Boyd and Vandenberghe ，而且该书的英文电子版在该书主页上可以直接免费下载：

http://web.stanford.edu/~boyd/cvxbook/bv_cvxbook.pdf

还附带了长达301页的Slides:

http://web.stanford.edu/~boyd/cvxbook/bv_cvxslides.pdf

以及额外的练习题、相关代码数据文件：

http://web.stanford.edu/~boyd/cvxbook/bv_cvxbook_extra_exercises.pdf http://web.stanford.edu/~boyd/cvxbook/cvxbook_additional_exercises/

相当贴心，另外Stephen Boyd教授2014年还在斯坦福大学自家的MOOC平台上开过相关课程: CVX101

https://class.stanford.edu/courses/Engineering/CVX101

提示是：A MOOC on convex optimization, CVX101, was run from 1/21/14 to 3/14/14. If you register for it, you can access all the course materials.

不知道现在注册是否还可以访问课程材料，我当年竟然注册过这门课程，所以还能访问相关资料：

这本书也有中文翻译版，由清华大学出版社出版：

http://www.tup.tsinghua.edu.cn/bookscenter/book_03184902.html