《机器学习技法》学习笔记01——线性SVM

http://blog.csdn.net/u011239443/article/details/76572743

最大间距分离超平面

胖的超平面具有更好的错误容忍性。

我们目标就是找到能一个超平面，到各个点xnx_n到w最小的距离尽可能的大。而且w需要能正确划分，即 label yny_n 需要和计算出来的结果wTxnw^Tx_n同号。

标准最大间距问题

我们把wTxnw^Tx_n拆分：

得到wTx+bw^Tx+b

• 计算x到超平面wTx′+b=0w^Tx' + b = 0的距离：

x’和x”是超平面上的任意两个点：

所以，w的超平面的法向量，则得出距离：

由于：

所以我们可以把距离写成：

于是问题变成了：

由于：

超平面不会因系数而改变，所以我们可以对wTx+bw^Tx+b进行任意放缩，最终使得：

问题就变成了：

yn(wTxn+b)y_n(w^Tx_n+b)最小也要等于1，所以条件yn(wTxn+b)>0y_n(w^Tx_n+b)>0可以去掉，问题变成了：

我们将条件放大成：

我们只要证明，不可能所以的yn(wTxn+b)y_n(w^Tx_n+b)都大于1，那么放大后的条件就和原来的条件等价了。

• 证明： 假设yn(wTxn+b)y_n(w^Tx_n+b)都大于1，最优解(b,w)使得yn(wTxn+b)>=c>1y_n(w^Tx_n+b) >= c > 1。 则存在(b2,w2)=(b/c,w/c)(b_2,w_2) = (b/c ,w/c)使得yn(wT2xn+b2)>=1y_n(w_2^Tx_n+b_2)>=1。 但是1/||w2||>1/||w||1/||w_2|| > 1/||w||，所以(b,w)不是最优解，即假设不成立。

再经过一些变换，我们的问题变成了：