统计学习方法

【注】学习笔记参考自《统计学习方法第二版》——李航。

1. 简介

统计学习方法由三要素构成，即：方法=模型+策略+算法。

2. 模型

统计学习首要考虑的问题是学习什么样的模型。在监督学习中，模型就是所有要学习的条件概率分布或决策函数。模型的假设空间包含所有可能的条件概率分布或决策函数。

• 假设空间用 F\mathcal{F}F 表示，可以定义为决策函数的集合：

3. 策略

3.1 损失函数和风险函数

损失函数度量模型一次预测的好坏，风险函数度量平均意义下模型预测的好坏。