机器学习应该准备哪些数学预备知识？
1 理解矩阵变换
矩阵变换简单的说就是x->Ax，A矩阵把原空间上的向量x映射到了Ax的位置，看似简单实在是奥妙无穷。
1.1 A可以是由一组单位正交基组成，那么该矩阵变换就是基变换，简单理解就是旋转坐标轴的变换，PCA就是找了一组特殊位置的单位正交基，本质上就是基变换。
1.2 A可以是某些矩阵，它们在某些特殊的方向上只对x做了收缩拉伸变换而没有改变方向，简单来说就是，这些特殊的方向x就是特征向量，而就是收缩拉伸的量，描述了这些特殊的方向上的变换后，其实我们很容易画出这种矩阵变换的几何图解。
1.3 A可以是投影矩阵，把x投影到某个直线上，或者某个subspace上，线性回归模型有最小二乘解释，最小二乘可以由极大似然函数推得，当然还能用投影矩阵解释。
2 理解（对称）矩阵的特征向量特征值分解
2.1 对称矩阵特征分解是理解多维高斯分布的基础
要理解多维高斯分布需要四个知识：等值面，对称矩阵特征分解，正交基变换，多维椭圆方程
2.2 对称矩阵特征分解
对称矩阵特征分解可以直截了当的导出矩阵对角化的公式，而对协方差矩阵的对角化又是PCA的核心数学知识
理解PCA的数学基础：协方差矩阵对角化，基变换矩阵。
3 一些线性代数的嗅觉素养
其实很多感觉是逐步形成的，
比如n维向量x乘以x的转置就是一个对称矩阵等…
4 本质& 洞悉本质
下面抛开机器学习，回归到线性代数本身，
我现在回顾，还是可以清晰的感觉到，理解&掌握线性代数的几个不同的阶段（或者说坎在哪里），我把它们总结成几个小问题，大家也可以自测一下，如果你扪心自问能够很好的回答其中的某个问题，那么相当于你在线性代数的某一块知识领域里已经相对纯熟&洞悉到非常基础但是最核心的本质思想。
这种东西大学教材真的给不了，也不是你做几张线性代数试卷，考个100分能够比拟的，本质的东西需要思考，体会，顿悟，了然一笑，一切尽在不言中…话也说回来我痴迷机器学习原理，痴迷数学，说到底还是想要多体验这种感觉，会上瘾的…
问题一，你有感觉到某一类矩阵和矩阵相乘，其实就是解方程时的消元吗？
问题二，
你有发现解方程时对矩阵的操作，与消元法解方程的对应关系吗？
你有发现行列式的定义和性质，与消元法解方程的对应关系吗？
你有发现求逆矩阵与消元法解方程的对应关系吗？而奇异矩阵与这个消元法解方程又有什么关系呢？
你有发现非常自然的消元法解方程，是连结矩阵、行列式、逆矩阵这些概念线索和纽带吗？这么普普通通的消元法解方程是多少线性代数基础概念的核心啊！所有的东西都不是无中生有的，
线性代数的设定真的不是像国内那些垃圾教材里面描述的好像一只孙猴子一样，像直接从石头缝里蹦出来的啊！
问题三，
前面已经提到了，三种“理解矩阵变换”，你理解了吗？
问题四，
为什么行秩和列秩是一样的？涉及四个基本子空间（列空间，零空间，行空间，左零空间），这个东西是我最近才感悟到的。
线性代数部分先总结到这里，后面还有概率统计和微积分部分，就简略说一下，以后有时间再补充。
概率统计：
（1） 极大似然思想
（2） 贝叶斯模型
（3） 隐变量混合概率模型，EM思想
基础的典型分布是逃不过的，尤其高斯分布。
微积分：
主要体现在 极值问题 与 （条件）最优化问题
偏导数，梯度这两个概念必须深入人心
还有就是凸优化和条件最优化问题，这个是理解SVM，或者线性回归等等模型正则化的基础。。。
书籍的话大家自行百度“书名+pdf+微盘”应该都有，当年我就是这么下的
机器学习：
Pattern Recognition and Machine Learning
线性代数：
Introduction to Linear Algebra, 4th edition ,GILBERT STRANG
凸优化
Convex Optimization,Stephen Boyd
概率这边我就不单独推荐书籍了，一方面自己没有遇到非常惊艳的相关书籍（大家可以推荐给我），另一方面无论ng的公开课，还是prml，概率部分还是蛮详细的，个人经验是概率部分不是非常需要单独学习。
作者：木柄 来源：知乎 著作权归作者所有，本文已获作者授权，严禁二次转载
End
V粉福利 有奖答题
有奖赠书：《机器学习》 作者 周志华
参与规则：参与问题回复(在此文章底部留言），我们会从留言者中抽出一位幸运的粉丝，中奖者会以回复的方式通知领奖。
问题：下面两个图分别对应了“三种矩阵变换”里的哪种矩阵变换？
