《统计学习方法》笔记七（1） 支持向量机——线性可分支持向量机

本系列笔记内容参考来源为李航《统计学习方法》

知识概要

 线性可分支持向量机与硬间隔最大化

支持向量机的学习是在特征空间进行的。

定义

函数间隔与几何间隔

间隔最大化

用函数间隔可改写为

最大化1/||ω||和最小化1/2(||ω||)2等价，并取γ=1，得

支持向量和间隔边界

对偶算法

应用拉格朗日对偶性，通过求解对偶问题得到原始问题的最优解，一是因为对偶问题往往更容易求解，二是自然引入核函数，进而推广到非线性分类的问题。

推导过程参考7.1.4节，原始问题的对偶形式如下