机器学习需要的数学总结

机器学习知识和资讯

英语、数学、编程

让我们一起进步

数学知识总括

微积分(高等数学)

线性代数

概率论与数理统计

凸优化

微积分

微积分学,数学中的基础分支。内容主要包括函数、极限、微分学、积分学及其应用。函数是微积分研究的基本对象,极限是微积分的基本概念,微分和积分是特定过程特定形式的极限

微积分/高等数学。在机器学习中,微积分主要用到了微分部分,作用是求函数的极值,就是很多机器学习库中的求解器(solver)所实现的功能。在机器学习里会用到微积分中的以下知识点:

导数和偏导数的定义与计算方法

梯度向量的定义

极值定理,可导函数在极值点处导数或梯度必须为0

雅克比矩阵,这是向量到向量映射函数的偏导数构成的矩阵,在求导推导中会用到

Hessian矩阵,这是2阶导数对多元函数的推广,与函数的极值有密切的联系

凸函数的定义与判断方法

泰勒展开公式

拉格朗日乘数法,用于求解带等式约束的极值问题

其中最核心的是记住多元函数的泰勒展开公式,根据它我们可以推导出机器学习中常用的梯度下降法,牛顿法,拟牛顿法等一系列最优化方法:

线性代数

线性代数的理论是计算技术的基础,同系统工程,优化理论及稳定性理论等有着密切联系,随着计算技术的发展和计算机的普及,线性代数作为理工科的一门基础课程日益受到重视。线性代数这门课程的特点是概念比较抽象,概念之间联系很密切。内容包括行列式,矩阵,向量空间,线性方程组,矩阵的相似对角化,二次型,线性空间与线性变换等, 机器学习中主要用到以下知识点

向量和它的各种运算,包括加法,减法,数乘,转置,内积

向量和矩阵的范数,L1范数和L2范数

矩阵和它的各种运算,包括加法,减法,乘法,数乘

逆矩阵的定义与性质

行列式的定义与计算方法

二次型的定义

矩阵的正定性

矩阵的特征值与特征向量

矩阵的奇异值分解

线性方程组的数值解法,尤其是共轭梯度法

概率论与数理统计

主要内容包括:概率论的基本概念、随机变量及其概率分布、数字特征、大数定律与中心极限定理、统计量及其概率分布、参数估计和假设检验、回归分析、方差分析、马尔科夫链等内容, 机器学习中主要用到以下知识点

随机事件的概念,概率的定义与计算方法

随机变量与概率分布,尤其是连续型随机变量的概率密度函数和分布函数

条件概率与贝叶斯公式

常用的概率分布,包括正态分布,伯努利二项分布,均匀分布

随机变量的均值与方差,协方差

随机变量的独立性

最大似然估计

凸优化

凸优化,或叫做凸最优化,凸最小化,是数学最优化的一个子领域,研究定义于凸集中的凸函数最小化的问题。凸优化在某种意义上说较一般情形的数学最优化问题要简单,譬如在凸优化中局部最优值必定是全局最优值。凸函数的凸性使得凸分析中的有力工具在最优化问题中得以应用

凸优化是机器学习中经常会提及的一个概念,这是一类特殊的优化问题,它的优化变量的可行域是凸集,目标函数是凸函数。凸优化最好的性质是它的所有局部最优解就是全局最优解,因此求解时不会陷入局部最优解。如果一个问题被证明为是凸优化问题,基本上已经宣告此问题得到了解决。在机器学习中,线性回归、岭回归、支持向量机、logistic回归等很多算法求解的都是凸优化问题。

写文不易,大家多分享和转发

英语

数学

编程

JAVA进阶

人工智能资讯

几个维度

  • 发表于:
  • 原文链接https://kuaibao.qq.com/s/20181201G0IGDD00?refer=cp_1026
  • 腾讯「云+社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。
  • 如有侵权,请联系 yunjia_community@tencent.com 删除。

扫码关注云+社区

领取腾讯云代金券