初识支持向量机原理

支持向量机作为机器学习中最为难于理解的算法,小编将以三篇的篇幅去讲解小编自己理解的SVM算法。主要包括:初识支持向量机原理、SVM如何解决线性不可分、SVM实践举例;当然网络上也会有很多关于SVM这一经典算法的资料,大家可参见参考文献,与我们及时交流,共同学习~

用一句话说明SVM的原理,即通过特征空间中的最大间隔去找出该空间的分类超平面;其中最大间隔就可以用支持向量来求得。

引入支持向量机之前,先要说明最简单的线性分类器:感知机;一个线性分类器,感知机的学习目标就是要在 n 维的数据空间中找到一个分类超平面,数据点用 x 表示,其方程可以表示为:w^Tw+b=0 在二维图形上表示为:

红色的线将蓝点和红点分为两类,根据数据点在超平面上的正负函数值,我们可以令分类函数的表达式为:f(x)=w^Tx+b

注:其形式类似于逻辑回归的sita参数表达

显然,如果 f(x)=0 ,那么 x 是位于超平面上的点。我们不妨要求对于所有满足 f(x)<0 的点,其对应的 y 等于 -1 ,而 f(x)>0 则对应 y=1 的数据点。

可以从上图中看出,一个点被分类的准确性(置信度)可以由它离超平面的远近决定;并且我们可以从图中看出函数间隔和几何间隔,我们通过

表示函数间隔,但可以知道随着w和b成比例变动,函数间隔会变化但实际的几何间隔却没有发生变化,所以我们定义几何间隔是函数间隔的归一化,表示为:

这个表达式也是很直观的点到超平面的距离;按照我们前面的分析,对一个数据点进行分类,当它的 margin 越大的时候,分类的 confidence 越大。对于一个包含 n 个点的数据集,我们可以很自然地定义它的 margin 为所有这 n 个点的 margin 值中最小的那个。于是,为了使得分类的 confidence 高,我们希望所选择的超平面hyper plane 能够最大化这个 margin 值。

正如我们开始说的一句话说明SVM原理中提到的,找到支持向量后就要使其最大化,从最大间隔出发(目的本就是为了确定法向量w),转化为求对变量w和b的凸二次规划问题。

如此一来,我们的最终的优化函数为:

之前提到,当w和b成倍变化时,没有归一化,函数间隔的值

并不影响优化的约束条件和目标;所以取

=1;并且需要注意的是:最大化1/||w||与最小化1/2||w||^2是等价的;所以我们将优化目标函数改为:

;然后改为:

从第二步转到第三步,我们需要知道的是,这样一个转化必须满足KKT条件,可能对于小编这样的不明白数学证明的小白来说,会有一些难理解,主要是通过一个最小最大去逼近一个最大最小的过程,这里说明一下KKT条件的意义:它是一个非线性规划(Nonlinear Programming)问题能有最优化解法的必要和充分条件;面对这样一个优化目标函数,其中的求解方法就是我们传统的拉格朗日乘子法求解对偶问题的方法。

下一篇我们将具体讲述求解方法以及面对非线性问题SVM的“核”武器~敬请期待!

参考文献:(支持向量机通俗导论-july)http://blog.csdn.net/macyang/article/details/38782399

《统计学习方法》- 李航

回复数字或算法名称即可查看相关文章:

1. 决策树算法之一C4.5

2. 数据挖掘之Apriori算法

3. 网页排序算法之PageRank

4. 分类算法之朴素贝叶斯分类

5. 遗传算法如何模拟大自然的进化?

6. 没有公式如何看懂EM算法?

7. Python实现KNN算法

8. 基础聚类算法:K-means算法

9. 集成学习算法----Adaboost

10. 分类回归树算法---CART

11. EAG多目标进化算法

12. 蚁群算法(独辟蹊径的进化算法)

13. 逻辑回归(LR)算法

14. 鸟群的启发--粒子群算法

15. 模拟退火优化算法

16. GBDT

17. 初识支持向量机

免责声明:本文系网络转载。版权归原作者所有。如涉及版权,请联系删除!

原文发布于微信公众号 - 智能算法(AI_Algorithm)

原文发表时间:2016-06-14

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏人工智能头条

决策树算法介绍及应用

14630
来自专栏IT派

深度学习必知必会25个概念

导语:很多人认为深度学习很枯燥,大部分情况是因为对深度学习的学术词语,特别是专有名词很困惑,即便对相关从业者,亦很难深入浅出地解释这些词语的含义。本文编译自An...

32350
来自专栏数据派THU

机器学习Top10算法,教你选择最合适的那一个!

本文共3800字,建议阅读6分钟。 选什么算法?本文为你梳理TOP10机器学习算法特点。

12420
来自专栏数据科学与人工智能

Come On!决策树算法!

机器学习在各个领域都有广泛的应用,特别在数据分析领域有着深远的影响。决策树是机器学习中最基础且应用最广泛的算法模型。本文介绍了机器学习的相关概念、常见的算法分类...

25790
来自专栏CDA数据分析师

基于 R 语言和 SPSS 的决策树算法介绍及应用

文 | 刘昭东, 软件工程师, IBM 机器学习在各个领域都有广泛的应用,特别在数据分析领域有着深远的影响。决策树是机器学习中最基础且应用最广泛的算法模型。本文...

27550
来自专栏PPV课数据科学社区

收藏!机器学习与深度学习面试问题总结.....

后向传播是在求解损失函数L对参数w求导时候用到的方法,目的是通过链式法则对参数进行一层一层的求导。这里重点强调:要将参数进行随机初始化而不是全部置0,否则所有隐...

14420
来自专栏人工智能头条

非科班出身,我是如何自己摸索研究卷积神经网络体系结构的

虽然很不愿意提起这件伤心事,但国庆假期确实结束了?。在这说长不长说短也不算短的7天里,不知道大家有没有吃好喝好玩好pia学好呢?

15830
来自专栏目标检测和深度学习

CVPR 2018 | Spotlight论文:变分U-Net,可按条件独立变换目标的外观和形状

最近用于图像合成的生成模型备受关注 [7, 12, 18, 24, 49, 51, 32]。生成目标的图像需要对它们的外观和空间布局的详细理解。因此,我们必须分...

11120
来自专栏人工智能

多层感知器神经网络速成课

人工神经网络是一个令人神往的研究领域,尽管当新手入门的时候它们可能会令人生畏。

23970
来自专栏人工智能的秘密

拆解VGGNet网络模型在分类和定位任务上的能力

下面我们将对2014年夺得ImageNet的定位第一和分类第二的VGG网络进行分析,在此过程中更多的是对这篇经典文章的感性分析,希望和大家共同交流产生共鸣,如果...

55790

扫码关注云+社区

领取腾讯云代金券