如何通过对偶问题求解线性可分 SVM

我们最终是想要求出最大间隔超平面，

所以需要计算出约束条件下的 w和b 这两个参数，进而得到最大间隔超平面的表达式

求解方法是将原问题转化为其对偶问题进行求解，

这个过程分为四步，

1. 首先原问题需要满足强对偶性的三个条件

2. 将原问题转化为拉格朗日函数

3. 求拉格朗日函数的下确界函数

4. 求这个下确界函数的极大值，即要对偶问题的最优解

对于线性可分 SVM 来说，根据上面的四个步骤进行求解：

1. 首先它是符合强对偶的三个条件的，

2. 然后求出它的拉格朗日函数

3. 再求下确界函数，方法是对W和b求偏导，令其等于零

4. 接着需要对下确界函数求极大值，需要将极大值问题转化为极小值问题，用 SMO算法求出参数向量 alpha

5. 又因为 alpha 对应的（x，y）必然是支持向量，所以得出 b 的表达式

6. 至此 w 和 b 表达式都得到了，进而得到了最大分割超平面的表达式

7. 接着也就构造出了决策函数

求解方法是将原问题转化为其对偶问题进行求解，这个过程分为四步：

1. 首先原问题需要满足强对偶性的三个条件

2. 将原问题转化为拉格朗日函数

3. 求拉格朗日函数的下确界函数

4. 求这个下确界函数的极大值，即要对偶问题的最优解

对于线性可分 SVM 来说，根据上面的四个步骤进行求解：

1. 首先它是符合强对偶的三个条件的，

2. 然后求出它的拉格朗日函数

3. 再求下确界函数，方法是对W和b求偏导，令其等于零

4. 接着需要对下确界函数求极大值，需要将极大值问题转化为极小值问题，用 SMO算法求出参数向量 alpha

5. 又因为 alpha 对应的（x，y）必然是支持向量，所以得出 b 的表达式

6. 至此 w 和 b 表达式都得到了，进而得到了最大分割超平面的表达式

7. 接着也就构造出了决策函数

SMO算法：