统计学习方法（四）

监督学习的任务是学习一个模型，应用这一模型，对给定的输入预测相应的输出。这个模型的一般形式为决策函数或条件概率分布。

监督学习方法又可以分为生成方法（generative approach）和判别方法（discriminative approach）。所学到的模型分别称为生成模型（generativemodel）和判别模型（discriminative model）。

生成方法

生成方法由数据学习联合概率分布，然后求出条件概率分布作为预测的模型，即生成模型。

生成方法的模型表示了给定输入X产生输出Y的生成关系。典型的生成模型有：朴素贝叶斯法和隐马尔科夫模型。

判别方法

判别方法有数据直接学习决策函数或者条件概率分布作为预测的模型，即判别模型。

判别方法关心的是对给定的输入X，应该预测什么样的输出Y。典型的判别模型包括：k近邻法、感知机、决策树、逻辑斯蒂回归模型、最大熵模型、支持向量机、提升方法和条件随机场等。

统计学习方法的两种模型比较

监督学习方法的应用

监督学习方法三种应用的比较

分类问题

标注问题

回归问题

本章概要