Scikit-learn实战之 SVM回归分析、密度估计、异常点检测

Scikit-learn实战之

SVM回归分析、密度估计

异常点检测

1. SVM回归

SVM的支持向量的方法能够被扩展以解决回归问题。这种方法被称之为SVR（Support Vector Regression 支持向量回归）。该模型是由SVC（支持向量分类）演化而来，它依然依赖于训练数据的子集。因为构建Model的损失函数并不关心位于边缘上的训练点（样本）集。类似的，由支持向量回归（SVR）生成的模型仅仅依赖于训练数据的某个子集，因为构建模型的损失函数忽略了所有的接近模型预测的训练数据。

Scikit-learn提供了三种不同的支持向量回归的实现：SVR, NuSVR 和 LinearSVR。LinearSVR提供了最快的实现，但是它仅仅实现了线性核函数。如果想搞清楚它们三者的具体实现细节，请参考：

http://www.csie.ntu.edu.tw/~cjlin/libsvm/

作为回归分析的参数，y必须是浮点数型：

代码

>>> from sklearn import svm
>>> X = [ [0, 0], [2, 2] ]
>>> y = [0.5, 2.5]
>>> clf = svm.SVR()
>>> clf.fit(X, y)
>>> clf.predict( [ [1, 1] ] )
array( [ 1.5] )

2. 密度估计、异常点检测

One-class SVM用于异常点检测。也就是说，给一个样本集合，它将检测该点集的软边缘以对将来的新的检测点是否属于该集合加以判断。该类的实现是OneClassSVM。检测结果为1表示内部点，-1表示离群点。

代码

>>> from sklearn import svm
>>> X = [ [0, 0], [1, 1], [2, 0], [0, 3], [-3, 0],
                [-1, -1], [-2, -2], [-2, 2], [2, -2] ]
>>> Y = [ [0.5, 0.5], [-2.5, 0], [9, 9], [5, -2] ]
>>> estimate = svm.OneClassSVM()
>>> estimate.fit(X)
>>> results = estimate.predict(Y)
>>> print(results)
 [ 1.  1. -1. -1.]

3. 复杂性分析

SVM是一个强大的工具，但是它对计算和存储需求随着训练样本的增加而急剧增长。

SVM的核心是一个二次规划问题，计算的复杂度在：

和

之间。

作者：章华燕

小编：赵一帆