机器学习应该准备哪些数学预备知识?

首先,线性代数和微积分都是必要的,但是初学者容易割裂地看待它们以及机器学习,不清楚哪些线性代数&微积分的知识才是掌握机器学习数学推导的关键。一样,我也走过并继续在走很多弯路,就说说我的感受吧,大家一起探讨探讨。

1 理解矩阵变换

矩阵变换简单的说就是x->Ax,A矩阵把原空间上的向量x映射到了Ax的位置,看似简单实在是奥妙无穷。

1.1 A可以是由一组单位正交基组成,那么该矩阵变换就是基变换,简单理解就是旋转坐标轴的变换,PCA就是找了一组特殊位置的单位正交基,本质上就是基变换。

1.2 A可以是某些矩阵,它们在某些特殊的方向上只对x做了收缩拉伸变换而没有改变方向,简单来说就是,这些特殊的方向x就是特征向量,而就是收缩拉伸的量,描述了这些特殊的方向上的变换后,其实我们很容易画出这种矩阵变换的几何图解。

1.3 A可以是投影矩阵,把x投影到某个直线上,或者某个subspace上,线性回归模型有最小二乘解释,最小二乘可以由极大似然函数推得,当然还能用投影矩阵解释。

2 理解(对称)矩阵的特征向量特征值分解

2.1 对称矩阵特征分解是理解多维高斯分布的基础

要理解多维高斯分布需要四个知识:等值面,对称矩阵特征分解,正交基变换,多维椭圆方程

2.2 对称矩阵特征分解

对称矩阵特征分解可以直截了当的导出矩阵对角化的公式,而对协方差矩阵的对角化又是PCA的核心数学知识

理解PCA的数学基础:协方差矩阵对角化,基变换矩阵。

3 一些线性代数的嗅觉素养

其实很多感觉是逐步形成的,

比如n维向量x乘以x的转置就是一个对称矩阵等…

4 本质& 洞悉本质

下面抛开机器学习,回归到线性代数本身,

我现在回顾,还是可以清晰的感觉到,理解&掌握线性代数的几个不同的阶段(或者说坎在哪里),我把它们总结成几个小问题,大家也可以自测一下,如果你扪心自问能够很好的回答其中的某个问题,那么相当于你在线性代数的某一块知识领域里已经相对纯熟&洞悉到非常基础但是最核心的本质思想。

这种东西大学教材真的给不了,也不是你做几张线性代数试卷,考个100分能够比拟的,本质的东西需要思考,体会,顿悟,了然一笑,一切尽在不言中…话也说回来我痴迷机器学习原理,痴迷数学,说到底还是想要多体验这种感觉,会上瘾的…

问题一,你有感觉到某一类矩阵和矩阵相乘,其实就是解方程时的消元吗?

问题二,

你有发现解方程时对矩阵的操作,与消元法解方程的对应关系吗?

你有发现行列式的定义和性质,与消元法解方程的对应关系吗?

你有发现求逆矩阵与消元法解方程的对应关系吗?而奇异矩阵与这个消元法解方程又有什么关系呢?

你有发现非常自然的消元法解方程,是连结矩阵、行列式、逆矩阵这些概念线索和纽带吗?这么普普通通的消元法解方程是多少线性代数基础概念的核心啊!所有的东西都不是无中生有的,

线性代数的设定真的不是像国内那些垃圾教材里面描述的好像一只孙猴子一样,像直接从石头缝里蹦出来的啊!

问题三,

前面已经提到了,三种“理解矩阵变换”,你理解了吗?

问题四,

为什么行秩和列秩是一样的?涉及四个基本子空间(列空间,零空间,行空间,左零空间),这个东西是我最近才感悟到的。

线性代数部分先总结到这里,后面还有概率统计和微积分部分,就简略说一下,以后有时间再补充。

概率统计:

(1) 极大似然思想

(2) 贝叶斯模型

(3) 隐变量混合概率模型,EM思想

基础的典型分布是逃不过的,尤其高斯分布。

微积分:

主要体现在 极值问题 与 (条件)最优化问题

偏导数,梯度这两个概念必须深入人心

还有就是凸优化和条件最优化问题,这个是理解SVM,或者线性回归等等模型正则化的基础。。。

书籍的话大家自行百度“书名+pdf+微盘”应该都有,当年我就是这么下的

机器学习:

斯坦福大学公开课 :机器学习课程

Pattern Recognition and Machine Learning

线性代数:

麻省理工公开课:线性代数

Introduction to Linear Algebra, 4th edition ,GILBERT STRANG

凸优化

Convex Optimization,Stephen Boyd

概率这边我就不单独推荐书籍了,一方面自己没有遇到非常惊艳的相关书籍(大家可以推荐给我),另一方面无论ng的公开课,还是prml,概率部分还是蛮详细的,个人经验是概率部分不是非常需要单独学习。

作者:木柄 来源:知乎 著作权归作者所有,本文已获作者授权,严禁二次转载

End

V粉福利 有奖答题

有奖赠书:《机器学习》 作者 周志华

参与规则:参与问题回复(在此文章底部留言),我们会从留言者中抽出一位幸运的粉丝,中奖者会以回复的方式通知领奖。

问题:下面两个图分别对应了“三种矩阵变换”里的哪种矩阵变换?

原文发布于微信公众号 - PPV课数据科学社区(ppvke123)

原文发表时间:2017-01-11

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏SIGAI学习与实践平台

机器学习发展历史回顾

机器学习是现阶段解决很多人工智能问题的主流方法,作为一个独立的方向,正处于高速发展之中。最早的机器学习算法可以追溯到20世纪初,到今天为止,已经过去了100多年...

26330
来自专栏新智元

一文读完GitHub30+篇顶级机器学习论文(附摘要和论文下载地址)

作者:常佩琦 弗格森 【新智元导读】 今天介绍Github上的开源项目,专门用于更新最新的研究突破,具体说来,就是什么算法在哪一个数据集上取得了state-of...

495110
来自专栏AI研习社

分分钟带你杀入Kaggle Top 1%

不知道你有没有这样的感受,在刚刚入门机器学习的时候,我们一般都是从MNIST、CIFAR-10这一类知名公开数据集开始快速上手,复现别人的结果,但总觉得过于简单...

62080
来自专栏人工智能头条

分分钟带你杀入Kaggle Top 1%

6310
来自专栏新智元

【arXiv】2015 深度学习年度十大论文

由康奈尔大学运营维护着的arXiv网站,是一个在学术论文还未被出版时就将之向所有人开放的地方。这里汇聚了无数科学领域中最前沿的研究,机器学习也包括在内。它反映了...

29450
来自专栏ATYUN订阅号

【学术】算法交易的神经网络:强化经典策略

今天我想做一个带有实际预测的金融时间序列结论:我们将用神经网络强化经典移动平均策略,证明它真的改善了最终结果,并且审查新的预测目标。 训练神经网络的代码地址:h...

24020
来自专栏PPV课数据科学社区

主编推荐 | 学会数据分析背后的挖掘思维,分析就完成了一半!

主编推荐:通过言简意赅的语言把数据挖掘的原理、建模过程、数据分析和数据挖掘关系说的比较清楚,适合入门者了解相关概念。 正文如下: 在数据分析中,模型是非常有用和...

32460
来自专栏AI科技评论

干货 | 多任务深度学习框架在ADAS中的应用

AI科技评论按:在8月10日雷锋网AI研习社邀请了北京交通大学电子信息工程学院袁雪副教授给我们讲解了在高级辅助驾驶系统(ADAS)中的多任务深度学习框架的应用 ...

41370
来自专栏AI科技大本营的专栏

资源 | Yann LeCun最新演讲:大脑是如何高效学习的?(附PPT+视频)

整理 | 周翔 作为深度学习的奠基人之一,Yann LeCun 的一言一行都颇受关注。近日,Yann LeCun 在 CCN 2017 (认知计算神经科学大会)...

37670
来自专栏CSDN技术头条

分分钟带你杀入Kaggle Top 1%

不知道你有没有这样的感受,在刚刚入门机器学习的时候,我们一般都是从MNIST、CIFAR-10这一类知名公开数据集开始快速上手,复现别人的结果,但总觉得过于简单...

291100

扫码关注云+社区

领取腾讯云代金券