读书笔记：《统计学习方法-李航》1

一转眼，从开始接触机器学习，到现在被琐事左右，不得不放下李航老师的《统计学习方法》，快五个月了。这五个月里，开头的一个月是我最快活的时候，全身心地享受统计学习方法带来的种种思维的乐趣，妙不可言。

《统计学习方法》思维导图

统计学习：

计算机/基于数据/构建概率统计模型/并运用模型对数据进行预测与分析。

ps：用训练集学习一个模型，然后用这个模型去预测新的数据。最重要的是最后要有一个好的模型。

学习的定义：

如果一个系统/能够通过执行某个过程/改进他的性能，这就是学习。

ps：吃一堑长一智，这就是学习。

统计学习就是计算机系统/通过运用数据及统计方法/提高系统性能/的机器学习。

ps：现在的机器学习一般指的就是统计机器学习。

统计学习的方法有：监督学习、非监督学习，半监督学习和强化学习

监督学习

1、得到一个有限的训练数据集合

2、确定包含所有可能模型的假设空间，即学习模型的集合

3、确定模型选择的准则，即学习的策略

4、实现求解最优模型的算法，即学习的算法

5、通过学习方法选择最优模型

6、利用学习的最优模型对新数据进行预测或分析

书中开篇明义，引出了统计学习的三要素：模型+策略+算法，后面每个学习方法的研究，基本都是从这三个要素来展开。

统计学习的三要素：模型+策略+算法

模型：

即关系或者规律。用书中话说，就是“所要学习的条件概率分布或决策函数”是线性还是非线性，是概率模型还是非概率模型，所有的可能（某种类型的模型）构成了模型的假设空间；

策略：

怎么去学习。拿AlphaGo举例，其学习的策略就是当前每一步棋的价值是否最好，也就是说，落下的每一个子，是朝着取胜的目的去的。书中原话为“按照什么样的准测学习或选择最优的模型”。一般我们在训练数据的时候，用预测值和真实值之间的差距做比较，差距越小越好，这就是策略；

算法：

已经选出来的最优模型，里面的参数怎么算呢？这时候该算法上场了，“统计学习的算法成为求解最优化问题的算法”。算法很重要，算法有快有慢，有准有不准，在统计学习中，这个是大头之一。

通过统计学习可以解决的问题类型，包括分类问题、标注问题、回归问题等。篇幅有限，要想真正理解前面说到的这些概念

【未完待续】