[吴恩达机器学习笔记]12支持向量机3SVM大间距分类的数学解释

“参考资料 斯坦福大学 2014 机器学习教程中文笔记 by 黄海广

12.3 大间距分类背后的数学原理- Mathematics Behind Large Margin classification

向量内积

1. 假设有两个向量

,向量

，其中向量的内积表示为

.假设

表示为 u 在坐标轴横轴上的投影，而

表示为 u 在坐标轴纵轴上的投影，则向量 u 的欧几里得长度可表示为

, 且有

1. 对于向量的内积

,可以视为 v 向量在 u 向量上的投影 p 乘以 u 向量的长度，这两者都为实数，且当 v 向量的投影与 u 向量同方向时，p 取正号，否则 p 取负号 即有式子

向量内积研究 SVM 目标函数

• 为了更容易分析问题只保留了损失函数的后半部分而去掉了 C 及其乘积项。 ，原始损失函数如下图：

• 为简化起见，忽略掉截距，设置损失函数中参数

为 0，设置特征数 n=2. ，则简化后的式子可写为:

• 因此可以认为 SVM 的目的就是最小化向量

范数的平方或者说是长度的平方

的意义

• 给定参数向量 θ 给定一个样本 x， 计算其二者的乘积，这其中的含义是什么？对于

其相当于向量内积

1. 首先，对于训练样本

,其在 x 轴上的取值为

,其在 y 轴上的取值为

,此时 将其视为始于原点，终点位于训练样本的向量

1. 然后将参数

也视为向量且其在横轴上的投影为

,其在纵轴上的投影为

1. 使用之前的方法，将训练样本投影到参数向量 θ，使用

来表示第 i 个训练样本在参数向量

上的投影。 即有

代表从原点出发连接到第 i 个样本点的向量，是可正可负的，分别表示正样本和负样本；

表示样本向量

到参数向量

上的投影，其也是可正可负的，同方向为正负方向为负 ，对于 SVM 中

的约束也可以被

这个约束所代替

从

到大间距

• 首先为方便起见设置

,且只选取两个特征，即

,则参数

可以表示成一条过原点的直线，且 决策界 与

直线垂直。

• 反证法 如下图所示(1)，y 轴右边的表示正样本，而 y 轴左边的表示负样本，蓝线表示参数

，绿线表示决策界 ，很明显这条决策界很不好，因为其与正负样本的间距太小了。通过将样本投影到

上可以得到 p,此时正负样本的||p||都很小，根据 SVM 的公式||p|| * ||

||>=1,则其必须使||

||很大才能满足条件，这和目标函数希望找到一个小的参数

的目的是矛盾的，这表明这并不是一条好的决策界

• 而图(2)中 x 在

的投影 p 就相对的大一些，这样在满足公式

需要的||

||就会小一些，这和 SVM 的优化目标是一致的。所以 好的 SVM 的优化结果中，决策界的间距一定比较大

参考资料

[1]

吴恩达老师课程原地址: https://study.163.com/course/courseMain.htm?courseId=1004570029