机器学习需要的数学总结

机器学习知识和资讯

英语、数学、编程

让我们一起进步

数学知识总括

微积分(高等数学)

线性代数

概率论与数理统计

凸优化

微积分

微积分学，数学中的基础分支。内容主要包括函数、极限、微分学、积分学及其应用。函数是微积分研究的基本对象，极限是微积分的基本概念，微分和积分是特定过程特定形式的极限

微积分/高等数学。在机器学习中，微积分主要用到了微分部分，作用是求函数的极值，就是很多机器学习库中的求解器（solver）所实现的功能。在机器学习里会用到微积分中的以下知识点：

导数和偏导数的定义与计算方法

梯度向量的定义

极值定理，可导函数在极值点处导数或梯度必须为0

雅克比矩阵，这是向量到向量映射函数的偏导数构成的矩阵，在求导推导中会用到

Hessian矩阵，这是2阶导数对多元函数的推广，与函数的极值有密切的联系

凸函数的定义与判断方法

泰勒展开公式

拉格朗日乘数法，用于求解带等式约束的极值问题

其中最核心的是记住多元函数的泰勒展开公式，根据它我们可以推导出机器学习中常用的梯度下降法，牛顿法，拟牛顿法等一系列最优化方法：

线性代数

线性代数的理论是计算技术的基础，同系统工程，优化理论及稳定性理论等有着密切联系，随着计算技术的发展和计算机的普及，线性代数作为理工科的一门基础课程日益受到重视。线性代数这门课程的特点是概念比较抽象，概念之间联系很密切。内容包括行列式，矩阵，向量空间，线性方程组，矩阵的相似对角化，二次型，线性空间与线性变换等, 机器学习中主要用到以下知识点

向量和它的各种运算，包括加法，减法，数乘，转置，内积

向量和矩阵的范数，L1范数和L2范数

矩阵和它的各种运算，包括加法，减法，乘法，数乘

逆矩阵的定义与性质

行列式的定义与计算方法

二次型的定义

矩阵的正定性

矩阵的特征值与特征向量

矩阵的奇异值分解

线性方程组的数值解法，尤其是共轭梯度法

概率论与数理统计

主要内容包括：概率论的基本概念、随机变量及其概率分布、数字特征、大数定律与中心极限定理、统计量及其概率分布、参数估计和假设检验、回归分析、方差分析、马尔科夫链等内容, 机器学习中主要用到以下知识点

随机事件的概念，概率的定义与计算方法

随机变量与概率分布，尤其是连续型随机变量的概率密度函数和分布函数

条件概率与贝叶斯公式

常用的概率分布，包括正态分布，伯努利二项分布，均匀分布

随机变量的均值与方差，协方差

随机变量的独立性

最大似然估计

凸优化

凸优化，或叫做凸最优化，凸最小化，是数学最优化的一个子领域，研究定义于凸集中的凸函数最小化的问题。凸优化在某种意义上说较一般情形的数学最优化问题要简单，譬如在凸优化中局部最优值必定是全局最优值。凸函数的凸性使得凸分析中的有力工具在最优化问题中得以应用

凸优化是机器学习中经常会提及的一个概念，这是一类特殊的优化问题，它的优化变量的可行域是凸集，目标函数是凸函数。凸优化最好的性质是它的所有局部最优解就是全局最优解，因此求解时不会陷入局部最优解。如果一个问题被证明为是凸优化问题，基本上已经宣告此问题得到了解决。在机器学习中，线性回归、岭回归、支持向量机、logistic回归等很多算法求解的都是凸优化问题。

写文不易，大家多分享和转发

英语

数学

编程

JAVA进阶

人工智能资讯

几个维度