初步了解支持向量机(SVM)-1

从今天开始整理一些关于支持向量机-Support Vector Machine 的相关知识,大约发6-8篇的博客,敬请关注~欢迎推荐~

好了,由于这个东西本身就不好懂,要深入学习需要花费较多的时间和理。虽然现在网上有较多的参考文xian写的很不错,但是自己在学习的时候感觉所描述的数学公式还不够详尽,所以,借助于网上的一些资料和自己的理解,尝试整理一份比较适合初学者理解的资料。在这之前参考了较多的资料,有“支持向量机导论”,“统计学习方法”以及网上的一些博客,就不一一的详细列出了。

还是那句话,有任何问题,请随时不吝指正~

1 什么是支持向量机(SVM)

便于理解,从简单的分类说气,分类作为数据挖掘领域中一项非常重要的任务,它的目的是学会一个分类函数或分类模型(或者叫做分类器),该模型能把数据库中的数据项映射到给定类别中的某一个,从而可以用于预测未知类别。

所谓支持向量机,顾名思义,分为两个部分了解:一,什么是支持向量(简单来说,就是支持或支撑平面上把两类类别划分开来的超平面的向量点,下文将具体解释);二,这里的“机(machine,机器)”便是一个算法。在机器学习领域,常把一些算法看做是一个机器,如分类机(当然,也叫做分类器),而支持向量机本身便是一种监督式学习的方法(至于具体什么是监督学习与非监督学习,请参见此系列Machine Learning & Data Mining 第一篇),它广泛的应用于统计分类以及回归分析中。

而支持向量机是90 年代中期发展起来的基于统计学习理论的一种机器学习方法,通过寻求结构化风险最小来提高学习机泛化能力,实现经验风险和置信范围的最小化,从而达到在统计样本量较少的情况下,亦能获得良好统计规律的目的。

2 关于线性分类

在讲SVM 之前,必须先弄清楚一个概念:线性分类器(也可以叫做感知机)。

2-1 分类标准

未接简单起见,考虑的是一个两类的分类问题(多分类问题类似,只是延拓一下),数据点用x 来表示,这是一个n 维向量,wT 上标中的“T”代表转置,而类别用y 来表示,可以取1 或者–1 ,分别代表两个不同的类。一个线性分类器就是要在n 维的数据空间中找到一个超平面,其方程可以表示为:

wTx + b = 0 (1.2.1)

上面给出了线性分类的定义描述,但或许读者没有想过:为何用y 取1 或者–1 来表示两个不同的类别呢?其实,这个1 或–1 的分类标准起源于Logistic 回归,为了完整和过渡的自然性,咱们就再来看看这个Logistic 回归。

2-2 1 或−1 分类标准的起源:Logistic 回归

使用的结果标签是y = −1,y = 1,替换在logistic 回归中使用的y = 0 和y = 1。同时将 替换成w 和b。以前的

Tx = θ0 + θ1x1 + θ2x2 + · · · + θnxn,

其中认为x0 = 1。现在我们替换θ0 为b,后面替换

θ1x1 + θ2x2 + · · · + θnxn

为w1x1 + w2x2 + · · · + wnxn(即wTx)。这样,我们让Tx = wTx + b,进一步

h(x) = g(Tx) = g(wTx + b)。

也就是说除了y 由y = 0 变为y = −1,只是标记不同外,与logistic 回归的形式化表示没区别。

再明确下假设函数

hw;b(x) = g(wTx + b)

上面提到过我们只需考虑Tx 的正负问题,而不用关心g(z),因此我们这里将g(z) 做一个简化,将其简单映射到y = −1 和y = 1 上。映射关系如下:

g(z) = 1, z ≥ 0

−1, z < 0

于此,想必已经解释明白了为何线性分类的标准一般用1 或者–1 来表示。

2-3 线性分类的一个实例

下面举个简单的例子,一个二维平面(一个超平面,在二维空间中的例子就是一条直线),如下图所示,平面上有两种不同的点,分别用两种不同的颜色表示,一种为红颜色的点,另一种则为蓝颜色的点,红颜色的线表示一个可行的超平面。

我们可以看出,这条红颜色的线把红颜色的点和蓝颜色的点分开来了。而这红颜色的线就是我们上面所说的超平面,也就是说,这个所谓的超平面的的确确便把这两种不同颜色的数据点分隔开来,在超平面一边的数据点所对应的y 全是–1,而在另一边全是1。接着,我们令分类函数

f(x) = wTx + b

显然,如果f(x) = 0,那么x 是位于超平面上的点。我们不妨要求对于所有满足f(x) < 0 的点,其对应的y 等于–1,而f(x) > 0 则对应y = 1 的数据点。

当然,有些时候,或者说大部分时候数据并不是线性可分的,这个时候满足这样条件的超平面就根本不存在,这里先从最简单的情形开始推导,就假设数据都是线性可分的,亦即这样的超平面是存在的。更进一步,我们在进行分类的时候,将数据点x 代入f(x) 中,如果得到的结果小于0,则赋予其类别–1,如果大于0 则赋予类别1。如果f(x) = 0,则很难办了,分到哪一类都不是。

(1) 咱们就要确定上述分类函数f(x) = w · x+b(w · x 表示w 与x 的内积)中的两个参数w 和b,通俗理解的话w 是法向量,b 是截距(再次说明:定义特征到结果的输出函数u = ⃗w · ⃗x− b,与我们最开始定义的f(x) = wTx + b 实质是一样的)。

(2) 那如何确定w 和b 呢?答案是寻找两条边界端或极端划分直线中间的最大间隔(之所以要寻最大间隔是为了能更好的划分不同类的点,下文你将看到:为寻最大间隔,导出1/2∥w∥^2,继而引入拉格朗日函数和对偶变量,化为对单一因数对偶变量 的求解,当然,这是后话),从而确定最终的最大间隔分类超平面和分类函数;

(3) 进而把寻求分类函数f(x) = w · x + b 的问题转化为对w、b 的最优化问题,最终化为对偶因子的求解。

总结成一句话即是:从最大间隔出发(目的本就是为了确定法向量w),转化为求对变量w 和b 的凸二次规划问题。亦或如下所示。

3 函数间隔与几何间隔

一般而言,一个点距离超平面的远近可以表示为分类预测的确信或准确程度。在超平面w · x + b 确定的情况下,|w · x + b| 能够相对的表示点x 到距离超平面的远近,而w · x + b 的符号与类标记y 的符号是否一致表示分类是否正确,所以,可以用量y · w · x + b 的正负性来判定或表示分类的正确性和确信度。

于此,我们便引出了定义样本到分类间隔距离的函数间隔的概念。

3-1 函数间隔

我们定义函数间隔为

^γ = y(wTx + b) = yf(x)

接着,我们定义超平面(w, b) 关于训练数据集T 的函数间隔为超平面(w, b) 关于T 中所有样本点(xi, yi) 的函数间隔最小值,其中x 是特征,y 是结果标签,i 表示第i 个样本,有

^γ = min ^γi, i = 1, 2, · · · , n

然与此同时,问题就出来了。上述定义的函数间隔虽然可以表示分类预测的正确性和确信度,但在选择分类超平面时,只有函数间隔还远远不够,因为如果成比例的改变w 和b,如将他们改变为2w 和2b,虽然此时超平面没有改变,但函数间隔的值yf(x) 却变成了原来的4 倍。其实,我们可以对法向量w 加些约束条件,使其表面上看起来规范化,如此,我们很快又将引出真正定义点到超平面的距离——几何间隔的概念。

3-2 几个间隔

在给出几何间隔的定义之前,咱们首先来看下,如图1.4所示,对于一个点x,令其垂直投影到超平面上,对应的为x0,由于w 是垂直于超平面的一个向量,γ 为样本x 到分类间隔的距离,我们有

x = x0 + γ*w / ∥w∥

又由于x0 是超平面上的点,满足f(x0) = 0,代入超平面的方程即可算出

γ =(wTx + b)/∥w∥=f(x)/∥w∥

不过这里的γ 是带符号的,我们需要的只是它的绝对值,因此类似地,也乘上对应的类别y 即可,因此实际上我们定义几何间隔为

~γ = yγ =^γ/∥w∥

换而言之,函数间隔y(wTx + b) = yf(x) 实际上就是|f(x)|,只是人为定义的一个间隔度量;而几何间隔|f(x)|/∥w∥才是直观上的点到超平面距离。

明天将介绍最大间隔分类器以及从线性可分到线性不可分的情况,敬请关注~~~~~~

ok ,今天先稍微介绍一下入门,可能比较容易理解,但是这都是svm的基础,希望大家仔细观看,个人感觉有必要自己整理一下笔记~ 机器学习算法与Python学习

欢迎大家转发

原文发布于微信公众号 - 机器学习算法与Python学习(guodongwei1991)

原文发表时间:2016-05-18

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏CVer

资源 | 深度神经网络数学笔记

如今,我们已经拥有了许多高级的、专业的神经网络程序库和框架,例如:Keras、TensorFlow 或 Pytorch。我们不需要时刻担心权值矩阵的规模,也不需...

1541
来自专栏云时之间

深度学习与神经网络:BP神经网络

BP神经网络现在来说是一种比较成熟的网络模型了,因为神经网络对于数字图像处理的先天优势,特别是在图像压缩方面更具有先天的优势,因此,我这一段时间在研究神经网络的...

4759
来自专栏企鹅号快讯

机器学习——K-均值算法理论

机器学习(十九) ——K-均值算法理论 (原创内容,转载请注明来源,谢谢) 一、概述 K均值(K-Means)算法,是一种无监督学习(Unsupervisedl...

24510
来自专栏决胜机器学习

机器学习(十九) ——K-均值算法理论

机器学习(十九)——K-均值算法理论 (原创内容,转载请注明来源,谢谢) 一、概述 K均值(K-Means)算法,是一种无监督学习(Unsu...

3063
来自专栏目标检测和深度学习

干货 | 目标检测入门,看这篇就够了(上)

作者 | 李家丞( 同济大学数学系本科在读,现格灵深瞳算法部实习生) 近年来,深度学习模型逐渐取代传统机器视觉方法而成为目标检测领域的主流算法,本系列文章将回顾...

38611
来自专栏数据科学学习手札

(数据科学学习手札30)朴素贝叶斯分类器的原理详解&Python与R实现

  要介绍朴素贝叶斯(naive bayes)分类器,就不得不先介绍贝叶斯决策论的相关理论:

51813
来自专栏机器之心

资源 | 来自独秀同学的深度网络数学笔记,还不快收藏?

如今,我们已经拥有了许多高级的、专业的神经网络程序库和框架,例如:Keras、TensorFlow 或 Pytorch。我们不需要时刻担心权值矩阵的规模,也不需...

1012
来自专栏机器之心

学界 | 田渊栋等人论文:何时卷积滤波器容易学习?

选自arXiv 机器之心编译 参与:黄小天、刘晓坤 近日,田渊栋等人在 arXiv 上发表了一篇题为《When is a Convolutional Filte...

37514
来自专栏人人都是极客

干货 | 目标检测入门,看这篇就够了(上)

作者 | 李家丞( 同济大学数学系本科在读,现格灵深瞳算法部实习生) 近年来,深度学习模型逐渐取代传统机器视觉方法而成为目标检测领域的主流算法,本系列文章将回顾...

5454
来自专栏机器之心

回归、分类与聚类:三大方向剖解机器学习算法的优缺点(附Python和R实现)

选自EliteDataScience 机器之心编译 参与:蒋思源、晏奇 在本教程中,作者对现代机器学习算法进行一次简要的实战梳理。虽然类似的总结有很多,但是它们...

3925

扫码关注云+社区

领取腾讯云代金券