用对偶法求解 SVR

支持向量回归（Support Vector Regression，SVR）

是一种有“宽容度”的回归模型，

即 它在线性函数两侧制造了一个“间隔带”，对于所有落入到间隔带内的样本，都不计算损失；只有间隔带之外的，才计入损失函数

模型函数为：y = wx + b

目标为：最小化间隔带的宽度与总损失

SVR 希望所有的样本点都落在“隔离带”里面

引入了两个松弛变量

我们最终要求的是 w 和 b，

也用对偶方法进行求解，分为以下几步：

1. 首先它是符合强对偶的三个条件的，

2. 然后求出它的拉格朗日函数

3. 再求下确界函数，方法是对W和b，还有两个松弛变量求偏导，令其等于零，得到的关系式代入拉格朗日函数，然后得到了只有两个参数 alpha alpha* 的对偶问题，并将极大值问题转化为极小值问题。这一步同时得到了 w 的表达式

4. 接着用 SMO算法的 KKT 条件，将两个参数的对偶问题转换为一个参数 lambda 的对偶问题

5. 由 KKT 条件得出，落在隔离带边缘超平面上的样本，是 SVR 的支持向量，于是由支持向量得到 b 的表达式

6. 至此 w 和 b 表达式都得到了，进而得到了 SVR 的模型函数