支持向量机2

整理自李航老师统计机器学习。

拍照版纸质笔记。

目录：

• 线性支持向量机与软间隔最大化
• 学习的对偶算法
• 支持向量
• 合页损失函数
• 核函数与核技巧
• 非线性支持向量机
• 序列最小最优化（SMO）算法

序列最小最优化（SMO）算法

支持向量机的学习问题即凸二次规划的求解问题，有很多的算法可以进行求解。但是当训练样本的数目非常多的时候，算法会十分的低效，以至于无法使用。

SMO算法可以快速高效的求解出学习问题。它的一个基本思路是：当所有的解的变量都满足KKT条件时，那么这就是最优化问题的解；否则，选取两个变量，固定其他的变量，构造一个只含两个变量的凸二次规划问题，求解这个问题得到的解就会更加接近原始问题的解，而且2个变量的凸二次规划问题具有解析解，求解简单；这样做可以大大加快算法的计算速度。

具体的SMO算法不做解释。