数据挖掘研究生必备的数学知识？

写一个目录，解释需要哪些数学知识，先列知识点，后讲目的：

以下是我认为在数据挖掘或者说机器学习比较相关的数学知识：

概率论：

机器学习为什么要使用概率

概率学派和贝叶斯学派

何为随机变量和何又为概率分布？

条件概率，联合概率和全概率公式：

边缘概率

独立性和条件独立性

期望、方差、协方差和相关系数

常用概率分布

贝叶斯及其应用

中心极限定理

极大似然估计

概率论中的独立同分布?

线代：

标量、向量、矩阵和张量

矩阵向量的运算

单位矩阵和逆矩阵

行列式

方差，标准差，协方差矩阵

范数

特殊类型的矩阵和向量

特征分解以及其意义

奇异值分解及其意义

Moore-Penrose 伪逆

迹运算

优化：

计算复杂性与NP问题

上溢和下溢

导数，偏导数及两个特殊矩阵

函数导数为零的二三事

方向导数和梯度

梯度下降法

牛顿法

仿射集,凸集和凸锥

超平面，半空间及凸集分离定理

不改变凸性的运算

凸函数及凸优化简述

无约束的优化，等式约束优化，不等式约束优化

线性规划中对偶理论

拉格朗日对偶理论

其他：

信息熵

条件熵

相对熵 (KL散度)

互信息

几种常用的距离度量

图论

树论

看到这个问题，很多人回答的都是什么教材，什么书的，但我比较赞同的说法是：书和教材，一列一堆大多，不实际，该问题应该更加具体详细回答，恩恩，说下我的目的：是为了宣传一下之前写的文章的，上面的绝大部分，我在我的专栏绝大部分都有讲解，但好像看的的不多，我就再拿来宣传下哈哈，可能写的不好，欢迎讨论和指教，详见：

机器学习和数据挖掘的关系很近，我认为上面的知识点对于机器学习或者数据挖掘都是比较重要的，下面给出干货～～～

线代篇：掌握机器学习数学基础之线代（重点知识）

概率论篇：掌握机器学习数学基础之概率统计（重点知识）

优化篇：

掌握机器学习数学基础之优化[1]（重点知识）

掌握机器学习数学基础之优化[2]（重点知识）

信息论及其他：掌握机器学习数学基础之信息论及其他[完结篇]（重点知识）