学界 | Ian Goodfellow发推讲2个机器学习黑魔法，教你如何推导公式

大数据文摘作品

作者：小鱼、土豆

《深度学习》（花书）作者Ian Goodfellow今早连发了10条推特，细数了他最喜欢的两个机器学习“黑魔法”。他在著名的GAN论文中使用这两个小窍门推导了公式。

最后，他还不忘操心大家的学习，推荐了一本关于凸优化的书。当然，更详尽的操作还是要去看Goodfellow本人的《深度学习》。文摘菌给大家搭配了斯坦福的一门MOOC，一起学习风味更佳~拉至文末查看喔~

Goodfellow称，这是关于机器学习，他最喜欢的两个快速理解理论推导的“黑魔法”。

以下是Ian Goodfellow推特内容：

很多时候，我们用代数或微积分来分析神经网络的最优行为。想实现一些函数的权重衰减或许可以用代数方法实现，但想要用代数方法解决神经网络中大多数函数的参数优化问题就有些过于复杂。

为了得到一个不太复杂的模型，常见的方法就是使用线性模型，因为线性模型能很好的解决凸优化问题。但线性模型又过于简单，其模型效果远不及神经网络。

黑魔法1：将神经网络视为一个任意函数，因此可以在同一空间优化所有的函数f，而不是特定的神经网络结构的参数theta。与使用参数和特定结构模型相比，这种方法非常简洁。

将神经网络视为一个函数，保留了线性模型的诸多优点：多种凸函数问题。例如，分类器的交叉熵损失在函数空间中就是一个凸优化问题。

这个假设并不准确，特别是与线性模型相比。但是根据通用逼近定理，神经网络可以较好地近似任意函数。

黑魔法2：如果你在同一空间优化所有函数时遇到困难，可以将函数想象成一个高维向量的分量。此时，关于R^n中x的评估函数f（x），就变成了在一个向量中查找f_x，其中x是对分量的索引。

通过这种方式，对函数进行优化就变成了一个常规微积分问题。这种方法很直观，但不是100％准确。有关更多正式版本和关于何时可以使用的限制信息，请参阅：

http://www.deeplearningbook.org/contents/inference.html

这篇论文中我的共同作者和我使用黑魔法破解＃1和＃2来推导GAN论文的eq 2链接如下：

https://papers.nips.cc/paper/5423-generative-adversarial-nets.pdf

最后的Bonus：推荐了这本凸优化书在斯坦福的pdf版本。

https://web.stanford.edu/~boyd/cvxbook/bv_cvxbook.pdf

文摘菌推荐：可以结合MOOC视频和作业一起服用哦，效果更佳。

https://lagunita.stanford.edu/courses/Engineering/CVX101/Winter2014/about