干货|机器学习的数学基础

机器学习基础

Author：黄博

转自：机器学习初学者

机器学习，需要一定的数学基础，也需要一定的代码能力。机器学习从业者数学基础不扎实，只会用一些工具和框架，相当于某些武术家只会耍套路，外行人觉得很厉害，但实战起来一定是鼻青脸肿。

如何在有限的计算资源下找出最优解，在目标函数及其导数的各种情形下，应该如何选择优化方法；各种方法的时间空间复杂度、收敛性如何；还要知道怎样构造目标函数，才便于用凸优化或其他框架来求解，这些都需要一定的数学基础。

可以说，数学基础是机器学习从业人员的天花板。博士的代码能力，不一定比硕士强，但数学基础，往往要比硕士扎实很多。为什么机器学习从业人员学历越高，往往工资越高，通常和掌握的基础知识正相关。

机器学习最基础的数学知识，可以分为高等数学、线性代数、概率论与数理统计三部分，我整理了三个数学基础资料：

一、大学数学基础精华

这个是考研考博时候整理的中文教材的资料，分为高等数学、线性代数、概率论与数理统计三部分：内容如图：

二、CS229数学基础

黄博和石振宇博士翻译了cs229的数学基础，分为概率论和线性代数两部分，是斯坦福系列课程的数学基础资料。

以上资料的pdf和markdown文件可以在黄博的数据科学的github提供下载：

https://github.com/fengdu78/Data-Science-Notes/tree/master/0.math

三、数学家介绍

里面有很多数学公式是数学家的名字命名的，然而，好多人不知道那些数学家长什么样子。于是，我们搜集了十位数学家的资料（排名不分先后），看看大家能从图片中叫出几位数学家的名字来？

1.艾萨克·牛顿

英国著名物理学家，数学家，牛顿与戈特弗里德·威廉·莱布尼茨分享了发展出微积分学的荣誉。他也证明了广义二项式定理，提出了“牛顿法”以趋近函数的零点，并为幂级数的研究做出了贡献。

2.戈特弗里德·威廉·莱布尼茨

德国数学家，我们经常用到“牛顿-莱布尼茨公式”。

3.约瑟夫·拉格朗日

法国数学家，机器学习经常用到他创建的“拉格朗日对偶”、“拉格朗日中值定理”。

4.托马斯·贝叶斯

英国数学家，“贝叶斯公式”在机器学习中使用非常广泛。

4.西莫恩·德尼·泊松

法国数学家，数据分布中的“泊松分布”就是以他的名字命名。

5.布鲁克·泰勒

英国数学家，我们经常用到“泰勒公式”：

6.洛必达

法国数学家，在高等数学求极限的时候，我们经常用到“洛必达法则”。

7.卡尔·弗里德里希·高斯

德国数学家，在机器学习中他的名字肯定不会陌生，比如“高斯分布”、“高斯核函数”。

8.伯努利

瑞士数学家，“伯努利分布” 是一种离散分布,有两种可能的结果。1表示成功，出现的概率为p(其中0<p<1)。0表示失败，出现的概率为q=1-p，这种分布在人工智能里很有用。

9.柯西

法国数学家，为微积分理论的完善和严谨奠定了重要基础。许多著名的概念：柯西不等式、柯西极限、柯西序列等。

10.拉普拉斯

法国数学家，在概率论和数理统计中，“拉普拉斯分布”非常重要，该分布用于生物、金融和经济学方面的建模。

备注：以上翻译完毕的pdf和markdown文件可以在黄博的数据科学的github提供下载：https://github.com/fengdu78/Data-Science-Notes/tree/master/0.math