机器学习5大数学知识（附详细课程资源）

机器学习理论是一个涵盖统计、概率、计算机科学和算法方面的领域，该理论的初衷是以迭代方式从数据中学习，找到可用于构建智能应用程序的隐藏洞察。

尽管机器学习和深度学习有巨大的发展潜力，但要深入掌握算法的内部工作原理并获得良好的结果，就必须透彻地了解许多技术的数学原理。

为什么学习数学？

机器学习的数学原理很重要，下面重点介绍部分原因：

1. 选择正确的算法，这涉及到考虑准确率、训练时间、模型复杂性、参数数量和特征数量。
2. 选择参数设置和验证策略。
3. 通过理解偏差-方差权衡，识别欠拟合和过拟合。
4. 估算正确的置信区间和不确定性。

多高的数学知识水平？

在尝试理解诸如机器学习这样的跨学科领域时，需要考虑的主要问题是，理解这些技术需要多大的数学知识量和多高的数学知识水平。此问题的答案涉及多个维度，而且取决于个人的知识水平和兴趣。对机器学习的数学公式和理论发展的研究从未间断过，一些研究人员正在研究更高级的技术。下面介绍成为机器学习工程师所需的最低数学知识水平，每个数学概念的重要性，以及相应的学习资源。

有哪些数学知识？

• 线性代数：在机器学习中，线性代数无处不在。要理解用于机器学习的优化方法，需要掌握许多主题，比如主成份分析(PCA)、奇异值分解(SVD)、矩阵特征分解、LU分解、QR分解/因式分解、对称矩阵、正交化/标准正交化、矩阵运算、投影、特征值和特征矢量、矢量空间，以及范数。资源：《麻省理工公开课-线性代数》、《可汗学院公开课：线性代数》、《同济大学公开课：线性代数》、《山东大学MOOC-线性代数》、《线性代数讲义 - 华东师范大学数学系》、《线性代数-北京大学出版社》、线性代数-维基百科、MIT-18.06-线性代数-完整笔记 、两小时讲完线性代数 、《矩阵编码：线性代数在计算机科学中的应用》、《线性代数应用-戴维森学院》
• 概率论和统计学：机器学习需要的一些基本的统计和概率理论包括组合学、概率规则和公理、贝叶斯定理、随机变量、方差和预期、假设检验、A / B检验、置信区间、p值、线性回归、正则化、概率分布函数、条件和联合分布、标准分布（伯努利、二项式、多项式、均匀和高斯分布）、矩母函数、最大似然估计(MLE)、先验和后验、最大后验概率估计(MAP)，以及采样方法。资源：《可汗学院公开课：统计学》、《加利福尼亚大学伯克利分校公开课：统计学》、《浙江大学公开课：概率论与数理统计》、《可汗学院公开课：概率》、《概率论与数理统计-重庆大学公开课》、《概率论与数理统计-北京大学公开课》、《概率论与数理统计》浙大版（第四版） 、《概率论与数理统计-中科大公开课》、《商务与经济统计-北师大公开课》、《哈佛大学统计学110讲稿》、《概率论和统计学-Khan Academy》
• 微积分：一些必要的主题包括微积分、偏微分、矢量-值函数、方向梯度、海赛函数、雅可比行列式、拉普拉斯算子和拉格朗日分布等。资源：《麻省理工学院公开课：微积分重点》、《清华大学微积分主讲-刘坤林》、《微积分-浙江大学》、《麻省理工学院公开课：多变量微积分》、《可汗学院公开课：微积分预备》、《麻省理工学院公开课：单变量微积分》、《HACC公开课：微积分1》、《HACC公开课：微积分II》、《微积分—多元函数与重积分-清华大学》、《数学分析讲义 - 南京大学数学系》、《7天搞定微积分》、《托马斯微积分》
• 算法和复杂优化：这对理解机器学习算法的计算效率和可伸缩性，以及利用数据集的稀疏性都很重要。需要数据结构（二叉树、哈希运算、堆、堆栈等）、动态编程、随机化和次线性算法、图表、梯度/随机下降，以及原对偶方法的知识。资源：《麻省理工学院公开课：算法导论》、《北京大学公开课：程序设计与算法基础》、《算法学习笔记 - GitHub》、《算法导论 中文版》、《机器学习导论-上海交通大学 张志华》、《机器学习算法基础》、《机器学习（Machine Learning）- 吴恩达》、《十大算法精讲》、《MIT算法导论全套》
• 最优化和运筹学：这些主题与应用数学中的传统话语没什么不同，因为它们在专业领域——理论计算机科学、控制理论或运筹学中最为相关和最广泛使用。实际上，每种机器学习算法旨在最小化受各种约束影响的某种估计误差，这就是优化问题。要学习的内容包括：优化的基础-如何制定问题、最大值、最小值、凸函数、全局解、线性规划、单纯形算法、整数规划、约束编程、背包问题等等。资源：《运筹学-黄丽娟》、《运筹学-江西财经大学》、《运筹学-陆军工程大学》、《西安交通大学 运筹学》、《Linear Programing简略版》、《斯坦福大学-凸优化》、《优化-Khan Academy》

结语

最后，这些数学知识绝对能在优化你的你的机器学习算法中发挥巨大的作用，当然你也不必学习每一个细节。上面的课程仅作参考，根据自己需要高效学习。