机器学习入门需要哪些数学基础?

  • 回答 (12)
  • 关注 (0)
  • 查看 (911)

机器学习入门需要哪些数学基础?

除了高等数学、线性代数、概率论与数理统计

林岑影林岑影提问于
比比比卡丘if(workHard == true){ return pass;}else{ return bug;}回答于

虽然题主已经说了高等数学、线性代数和概率统计,但是这三门科目的很多知识是最基础,也是最常用的。

以下我简单介绍一下线代和概统中比较重要的理论。

一.线性代数

1.矩阵和向量

矩阵是二维数组,其中的每一个元素被两个索引而非一个所确定。我们通常会赋予矩阵粗体的大写变量名称,比如A。

一个向量就是一列数,这些数是有序排列的。通常会赋予向量粗体的小写名称。

2.张量

几何代数中定义的张量是基于向量和矩阵的推广,通俗一点理解的话,我们可以将标量视为零阶张量,矢量视为一阶张量,那么矩阵就是二阶张量。

3.范数

p阶范数定义如下:

一阶范数:为x向量各个元素绝对值之和;

二阶范数:为x向量各个元素平方和的开方。

4.特征向量和特征值

方阵A的特征向量是指与A相乘后相当于对该向量进行缩放的非零向量ν,标量λ被称为这个特征向量对应的特征值。

5.距离公式

曼哈顿距离也称为城市街区距离,数学定义如下:

欧氏距离其实就是2阶范数,数学定义如下:


二.概率统计

1.随机变量及其概率分布

随机变量可以随机地取不同值的变量。我们通常用小写字母来表示随机变量本身,而用带数字下标的小写字母来表示随机变量能够取到的值。

给定某随机变量的取值范围,概率分布就是导致该随机事件出现的可能性。

常见的概率分布有:二项分布,几何分布,泊松分布,均匀分布,正态分布,指数分布等。

2.条件概率

3.贝叶斯公式

4.期望和方差

数学期望是试验中每次可能结果的概率乘以其结果的总和。它是最基本的数学特征之一,反映随机变量平均值的大小。

对于离散型变量:

对于连续型变量:

方差用来衡量随机变量与其数学期望之间的偏离程度;统计中的方差为样本方差,是各个样本数据分别与其平均数之差的平方和的平均数。数学表达式如下:

5.协方差

协方差被用于衡量两个随机变量X和Y之间的总体误差。数学定义式为:

6.最大似然估计

最大似然也称为最大概似估计,即:在“模型已定,参数θ未知”的情况下,通过观测数据估计未知参数θ 的一种思想或方法。

其基本思想是: 给定样本取值后,该样本最有可能来自参数\theta 为何值的总体。即:寻找使得观测到样本数据的可能性最大的估计值。

求极大似然函数估计值的一般步骤:

  • 写出似然函数:
  • 对似然函数取对数;
  • 两边同时求导数;
  • 令导数为0解出似然方程。
纪风夜影来,给我写个bug回答于

除了高等数学、线性代数、概率论和数理统计之外,最好学习但不仅限于以下内容:

  • 信息论

(1)熵、联合熵、条件熵

是接收的每条消息中包含的信息的平均量,又被称为信息熵信源熵平均自信息量

随机变量X的熵定义为:

联合熵定义为:

条件熵用来衡量在已知随机变量X的条件下,随机变量Y的不确定性,定义为:

(2)互信息

两个随机变量X,Y的互信息定义为X,Y的联合分布和各自独立分布乘积的相对熵称为互信息,用I(X,Y)表示,定义为:

(3)香农定理

香农定理是所有通信制式最基本的原理,它描述了有限带宽、有随机热噪声信道的最大传输速率与信道带宽、信号噪声功率比之间的关系。表示为:

C=Blog2(1+S/N)

其中:B是信道带宽(赫兹),S是信号功率(瓦),N是噪声功率(瓦)

诺顿不忘初心,方得始终回答于

1.线性最小二乘法

最小二乘法(又称最小平方法)是一种数学优化技术。它通过最小化误差的平方和寻找数据的最佳函数匹配。网上可以搜到很多相关的教程和文献,类似:

2.拉格朗日乘数法

拉格朗日乘数法是解决含约束条件的极值问题的常用算法。

3.贝叶斯公式

贝叶斯定理可表述为:后验概率 = (可能性*先验概率)/标准化常量

也就是说,后验概率与先验概率和相似度的乘积成正比。

对于变数有二个以上的情况,贝叶斯定理亦成立。例如:

夏虫草前端小白回答于
雅X共赏前端路上回答于

分析、代数(尤其是矩阵论)、数值优化、测度论、图论、时间序列、回归分析等

赫赫张He is just some coder graduated from blue shit.回答于

基础部分:微积分、线性代数、概率统计; 进阶部分:凸优化、泛函分析、随机过程、多元统计、非参数统计。

神无月

小文博客 · 站长 (已认证)

个人博客 www.qcgzxw.cn回答于

基础部分:微积分、线性代数、概率统计; 进阶部分:凸优化、泛函分析、随机过程、多元统计、非参数统计。

乌鸦病人出院后,症状未消除。回答于

数学分析,高等代数与解析几何了解一下

双愚Evenything happens for the best!回答于

基本篇:需要一定的数理知识和编程基础。其中数理知识是大学一、二年级的必修课。比如微积分,线性代数、概率与统计。很多同学在大学线性代数和概率与统计都没学好,线性代数本质是研究向量,多维模型的多维参数一定是要由向量来表示的,并且很多空间问题都可以用向量理念来抽象出来。概率论是很多机器学习算法的基础,其实人在考虑问题的时候,不也是在权衡各种可能性嘛,像贝叶斯算法、Logit算法、神经网络算法其实就是机器脑在基于概率来权衡判断。

如果这几门你大学就没学明白,那我其实不建议你继续自学了,非常耗时间,最好能找一些高人指导一下,或者去听一些网络课程。不得不说,很多大学的基础学科老师科研可能还可以,讲课是真烂,也许你听一些好的网络公开课,还是能学懂的。 编程基础方面,很多工科生也是学过一些编程语言的,直接上手Python应该没问题,看一眼Python入门书,或者去Codecademy跟一个Python系列就学会

进阶篇:了解统计分析、机器学习基本概念;学习相关算法,机器学习算法可以分为两类,监督类算法(K近邻、回归、SVM、决策树、朴素贝叶斯、BP神经网络)和非监督类算法(聚类、Apriori、FP-growth),难度会比较大,需要一点点磨。 机器学习语言肯定就是Python了,这个不用争了,如果涉及到可视化可以试试Tableau,这个在校生评价学生证可以在官网申请免费试用一年哦。

高级篇:主要在于实践了,要多参加各种项目,包括一些开源项目。遇到问题要能读相关高质量的中、英文论文

引自知乎@Alex Cui

夜深未眠ok刷新即可查看回答于

感觉高数、线代以及概率统计都学好就能应对很多问题了

所有的酒都不如你回答于

扫码关注云+社区

领取腾讯云代金券