首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >初识支持向量机原理

初识支持向量机原理

作者头像
智能算法
发布2018-04-02 11:47:36
7780
发布2018-04-02 11:47:36
举报
文章被收录于专栏:智能算法智能算法
支持向量机作为机器学习中最为难于理解的算法,小编将以三篇的篇幅去讲解小编自己理解的SVM算法。主要包括:初识支持向量机原理、SVM如何解决线性不可分、SVM实践举例;当然网络上也会有很多关于SVM这一经典算法的资料,大家可参见参考文献,与我们及时交流,共同学习~

用一句话说明SVM的原理,即通过特征空间中的最大间隔去找出该空间的分类超平面;其中最大间隔就可以用支持向量来求得。

引入支持向量机之前,先要说明最简单的线性分类器:感知机;一个线性分类器,感知机的学习目标就是要在 n 维的数据空间中找到一个分类超平面,数据点用 x 表示,其方程可以表示为:w^Tw+b=0 在二维图形上表示为:

红色的线将蓝点和红点分为两类,根据数据点在超平面上的正负函数值,我们可以令分类函数的表达式为:f(x)=w^Tx+b

注:其形式类似于逻辑回归的sita参数表达

显然,如果 f(x)=0 ,那么 x 是位于超平面上的点。我们不妨要求对于所有满足 f(x)<0 的点,其对应的 y 等于 -1 ,而 f(x)>0 则对应 y=1 的数据点。

可以从上图中看出,一个点被分类的准确性(置信度)可以由它离超平面的远近决定;并且我们可以从图中看出函数间隔和几何间隔,我们通过

表示函数间隔,但可以知道随着w和b成比例变动,函数间隔会变化但实际的几何间隔却没有发生变化,所以我们定义几何间隔是函数间隔的归一化,表示为:

这个表达式也是很直观的点到超平面的距离;按照我们前面的分析,对一个数据点进行分类,当它的 margin 越大的时候,分类的 confidence 越大。对于一个包含 n 个点的数据集,我们可以很自然地定义它的 margin 为所有这 n 个点的 margin 值中最小的那个。于是,为了使得分类的 confidence 高,我们希望所选择的超平面hyper plane 能够最大化这个 margin 值。

正如我们开始说的一句话说明SVM原理中提到的,找到支持向量后就要使其最大化,从最大间隔出发(目的本就是为了确定法向量w),转化为求对变量w和b的凸二次规划问题。

如此一来,我们的最终的优化函数为:

之前提到,当w和b成倍变化时,没有归一化,函数间隔的值

并不影响优化的约束条件和目标;所以取

=1;并且需要注意的是:最大化1/||w||与最小化1/2||w||^2是等价的;所以我们将优化目标函数改为:

;然后改为:

从第二步转到第三步,我们需要知道的是,这样一个转化必须满足KKT条件,可能对于小编这样的不明白数学证明的小白来说,会有一些难理解,主要是通过一个最小最大去逼近一个最大最小的过程,这里说明一下KKT条件的意义:它是一个非线性规划(Nonlinear Programming)问题能有最优化解法的必要和充分条件;面对这样一个优化目标函数,其中的求解方法就是我们传统的拉格朗日乘子法求解对偶问题的方法。

下一篇我们将具体讲述求解方法以及面对非线性问题SVM的“核”武器~敬请期待!

参考文献:(支持向量机通俗导论-july)http://blog.csdn.net/macyang/article/details/38782399

《统计学习方法》- 李航

回复数字或算法名称即可查看相关文章:

1. 决策树算法之一C4.5

2. 数据挖掘之Apriori算法

3. 网页排序算法之PageRank

4. 分类算法之朴素贝叶斯分类

5. 遗传算法如何模拟大自然的进化?

6. 没有公式如何看懂EM算法?

7. Python实现KNN算法

8. 基础聚类算法:K-means算法

9. 集成学习算法----Adaboost

10. 分类回归树算法---CART

11. EAG多目标进化算法

12. 蚁群算法(独辟蹊径的进化算法)

13. 逻辑回归(LR)算法

14. 鸟群的启发--粒子群算法

15. 模拟退火优化算法

16. GBDT

17. 初识支持向量机

免责声明:本文系网络转载。版权归原作者所有。如涉及版权,请联系删除!

本文参与 腾讯云自媒体分享计划,分享自微信公众号。
原始发表:2016-06-14,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 智能算法 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体分享计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档