《机器学习技法》学习笔记03——核SVM

http://blog.csdn.net/u011239443/article/details/76598872

核技巧

接着上篇博文的问题：

我们先假定：

则有：

于是我们就得到了核函数：

那么我们就可以直接用核函数带入到原来的问题中，我们能计算出b：

讲核函数代入gSVM=sign(∑SVindicesnwTzs+b)g_{SVM}=sign(\sum_{SV indices n}w^Tz_s+b)得：

多项式核

我们可以讲Φ2Φ_2做一些变化，得到更容易的核函数：

还可以讲其推广：

K1K_1 称为线性核，在选择核函数时，我们优先选择简单的线性核。

高斯核

我们能将x映射到无限高的维度上吗？答案是肯定的，使用高斯核就能做到：

高斯核的定义：

不同γ取值的例子：

因此SVM还是容易产生过拟合，γ取值不能过大