如何用Python实现支持向量机(SVM)

SVM支持向量机是建立于统计学习理论上的一种分类算法,适合与处理具备高维特征的数据集。

SVM算法的数学原理相对比较复杂,好在由于SVM算法的研究与应用如此火爆,CSDN博客里也有大量的好文章对此进行分析,下面给出几个本人认为讲解的相当不错的:

支持向量机通俗导论(理解SVM的3层境界):http://blog.csdn.net/v_july_v/article/details/7624837

JULY大牛讲的是如此详细,由浅入深层层推进,以至于关于SVM的原理,我一个字都不想写了。。强烈推荐。

还有一个比较通俗的简单版本的:手把手教你实现SVM算法

SVN原理比较复杂,但是思想很简单,一句话概括,就是通过某种核函数,将数据在高维空间里寻找一个最优超平面,能够将两类数据分开。

针对不同数据集,不同的核函数的分类效果可能完全不一样。可选的核函数有这么几种:

线性函数:形如K(x,y)=x*y这样的线性函数;

多项式函数:形如K(x,y)=[(x·y)+1]^d这样的多项式函数;

径向基函数:形如K(x,y)=exp(-|x-y|^2/d^2)这样的指数函数;

Sigmoid函数:就是上一篇文章中讲到的Sigmoid函数。

我们就利用之前的几个数据集,直接给出Python代码,看看运行效果:

测试1:身高体重数据

[python] view plaincopy

  1. # -*- coding: utf-8 -*-
  2. import numpy as np
  3. import scipy as sp
  4. from sklearn import svm
  5. from sklearn.cross_validation import train_test_split
  6. import matplotlib.pyplot as plt
  7. data = []
  8. labels = []
  9. with open("data\\1.txt") as ifile:
  10. for line in ifile:
  11. tokens = line.strip().split(' ')
  12. data.append([float(tk) for tk in tokens[:-1]])
  13. labels.append(tokens[-1])
  14. x = np.array(data)
  15. labels = np.array(labels)
  16. y = np.zeros(labels.shape)
  17. y[labels=='fat']=1
  18. x_train, x_test, y_train, y_test = train_test_split(x, y, test_size = 0.0)
  19. h = .02
  20. # create a mesh to plot in
  21. x_min, x_max = x_train[:, 0].min() - 0.1, x_train[:, 0].max() + 0.1
  22. y_min, y_max = x_train[:, 1].min() - 1, x_train[:, 1].max() + 1
  23. xx, yy = np.meshgrid(np.arange(x_min, x_max, h),
  24. np.arange(y_min, y_max, h))
  25. ''''' SVM '''
  26. # title for the plots
  27. titles = ['LinearSVC (linear kernel)',
  28. 'SVC with polynomial (degree 3) kernel',
  29. 'SVC with RBF kernel',
  30. 'SVC with Sigmoid kernel']
  31. clf_linear = svm.SVC(kernel='linear').fit(x, y)
  32. #clf_linear = svm.LinearSVC().fit(x, y)
  33. clf_poly = svm.SVC(kernel='poly', degree=3).fit(x, y)
  34. clf_rbf = svm.SVC().fit(x, y)
  35. clf_sigmoid = svm.SVC(kernel='sigmoid').fit(x, y)
  36. for i, clf in enumerate((clf_linear, clf_poly, clf_rbf, clf_sigmoid)):
  37. answer = clf.predict(np.c_[xx.ravel(), yy.ravel()])
  38. print(clf)
  39. print(np.mean( answer == y_train))
  40. print(answer)
  41. print(y_train)
  42. plt.subplot(2, 2, i + 1)
  43. plt.subplots_adjust(wspace=0.4, hspace=0.4)
  44. # Put the result into a color plot
  45. z = answer.reshape(xx.shape)
  46. plt.contourf(xx, yy, z, cmap=plt.cm.Paired, alpha=0.8)
  47. # Plot also the training points
  48. plt.scatter(x_train[:, 0], x_train[:, 1], c=y_train, cmap=plt.cm.Paired)
  49. plt.xlabel(u'身高')
  50. plt.ylabel(u'体重')
  51. plt.xlim(xx.min(), xx.max())
  52. plt.ylim(yy.min(), yy.max())
  53. plt.xticks(())
  54. plt.yticks(())
  55. plt.title(titles[i])
  56. plt.show()

运行结果如下:

可以看到,针对这个数据集,使用3次多项式核函数的SVM,得到的效果最好。

测试2:影评态度

下面看看SVM在康奈尔影评数据集上的表现:(代码略)

SVC(C=1.0, cache_size=200, class_weight=None, coef0=0.0, degree=3, gamma=0.0, kernel='linear', max_iter=-1, probability=False, random_state=None, shrinking=True, tol=0.001, verbose=False) 0.814285714286

SVC(C=1.0, cache_size=200, class_weight=None, coef0=0.0, degree=3, gamma=0.0, kernel='poly', max_iter=-1, probability=False, random_state=None, shrinking=True, tol=0.001, verbose=False) 0.492857142857

SVC(C=1.0, cache_size=200, class_weight=None, coef0=0.0, degree=3, gamma=0.0, kernel='rbf', max_iter=-1, probability=False, random_state=None, shrinking=True, tol=0.001, verbose=False) 0.492857142857

SVC(C=1.0, cache_size=200, class_weight=None, coef0=0.0, degree=3, gamma=0.0, kernel='sigmoid', max_iter=-1, probability=False, random_state=None, shrinking=True, tol=0.001, verbose=False) 0.492857142857 可见在该数据集上,线性分类器效果最好。

测试3:圆形边界

最后我们测试一个数据分类边界为圆形的情况:圆形内为一类,原型外为一类。看这类非线性的数据SVM表现如何:

测试数据生成代码如下所示:

[python] view plaincop

  1. ''''' 数据生成 '''
  2. h = 0.1
  3. x_min, x_max = -1, 1
  4. y_min, y_max = -1, 1
  5. xx, yy = np.meshgrid(np.arange(x_min, x_max, h),
  6. np.arange(y_min, y_max, h))
  7. n = xx.shape[0]*xx.shape[1]
  8. x = np.array([xx.T.reshape(n).T, xx.reshape(n)]).T
  9. y = (x[:,0]*x[:,0] + x[:,1]*x[:,1] < 0.8)
  10. y.reshape(xx.shape)
  11. x_train, x_test, y_train, y_test\
  12. = train_test_split(x, y, test_size = 0.2)

测试结果如下:

SVC(C=1.0, cache_size=200, class_weight=None, coef0=0.0, degree=3, gamma=0.0, kernel='linear', max_iter=-1, probability=False, random_state=None, shrinking=True, tol=0.001, verbose=False) 0.65 SVC(C=1.0, cache_size=200, class_weight=None, coef0=0.0, degree=3, gamma=0.0, kernel='poly', max_iter=-1, probability=False, random_state=None, shrinking=True, tol=0.001, verbose=False) 0.675 SVC(C=1.0, cache_size=200, class_weight=None, coef0=0.0, degree=3, gamma=0.0, kernel='rbf', max_iter=-1, probability=False, random_state=None, shrinking=True, tol=0.001, verbose=False) 0.9625 SVC(C=1.0, cache_size=200, class_weight=None, coef0=0.0, degree=3, gamma=0.0, kernel='sigmoid', max_iter=-1, probability=False, random_state=None, shrinking=True, tol=0.001, verbose=False) 0.65

可以看到,对于这种边界,径向基函数的SVM得到了近似完美的分类结果。而其他的分类器显然束手无策。

原文发布于微信公众号 - 大数据挖掘DT数据分析(datadw)

原文发表时间:2015-11-24

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏机器学习养成记

聚类(一):DBSCAN算法实现(r语言)

Some points 算法流程 R语言实现 选择最优的Eps值 自定义距离公式 DBSCAN优缺点 DBSCAN(Density-BasedSpatial ...

3307
来自专栏desperate633

LintCode 背包问题II题目分析

给出n个物品的体积A[i]和其价值V[i],将他们装入一个大小为m的背包,最多能装入的总价值有多大?

422
来自专栏窗户

有限域(1)

  有限域,顾名思义就是有限的域,我们又称它为Galois域(Galois Field)。

804
来自专栏算法channel

图算法|Dijkstra算法python实现

01 — Dijkstra算法的理论部分 关于Dijkstra算法的原理部分,请参考之前的推送: 图算法|Dijkstra最短路径算法 Dijkstra算法总...

4976
来自专栏上善若水

002计算机图形学之直线画线算法

主要思想是,由于我们在缓存区上画点,全部是整数。那么在画线的时候,当斜率k小于1的时候,下一个点是取(x+1,y+1)还是(x+1,y)取决于点(x+1,y+0...

862
来自专栏about云

Spark MLlib之 KMeans聚类算法详解

问题导读 1.什么是Spark MLlib ? 2.Spark MLlib 分为哪些类? 3.KMeans算法的基本思想是什么? 4.Spark Mllib ...

4826
来自专栏Java Web

矩阵乘法问题

问题描述 给定n个矩阵:A1,A2,...,An,其中Ai与Ai+1是可乘的,i=1,2...,n-1。确定计算矩阵连乘积的计算次序,使得依此次序计算矩阵连乘积...

3013
来自专栏阮一峰的网络日志

理解矩阵乘法

大多数人在高中,或者大学低年级,都上过一门课《线性代数》。这门课其实是教矩阵。 ? 刚学的时候,还蛮简单的,矩阵加法就是相同位置的数字加一下。 ? 矩阵减法也类...

3337
来自专栏数据结构与算法

学大伟业Day解题报告

预计分数:30+30+0=60 实际分数:30+20+0=50 题解部分全部来自http://www.cnblogs.com/TheRoadToTheGold/...

3134
来自专栏趣学算法

动态规划算法秘籍

动态规划是1957年理查德·贝尔曼在《Dynamic Programming》一书中提出来的,八卦一下,这个人可能有同学不知道,但他的一个算法你可能听说过,他和...

832

扫码关注云+社区