学习SVM(三)理解SVM中的对偶问题

学习SVM(一) SVM模型训练与分类的OpenCV实现 学习SVM(二) 如何理解支持向量机的最大分类间隔 学习SVM(三)理解SVM中的对偶问题 学习SVM(四) 理解SVM中的支持向量(Support Vector) 学习SVM(五)理解线性SVM的松弛因子

网上有很多关于SVM的优秀博客与其他学习资料,而个人感觉本系列博客与其他关于SVM的文章相比,多了一些细节的证明,比如线性分类器原理,支持向量原理等等。 同样是SVM,在《支持向量机导论》中有170+页的内容,而在《机器学习》(周志华)一书中仅仅是一个章节的内容,中间略过了细节推导的过程,这些被略过的推导过程在本系列博客中都会加入,也是在自学时验证过程中的一些总结,如有问题请指正。

在上一篇的内容中(学习SVM(二) 如何理解支持向量机的最大分类间隔),我们最后我们推导出优化目标为:

其中约束条件为n个,这是一个关于w和b的最小值问题。

根据拉格朗日乘子法:就是求函数f(x1,x2,…)在g(x1,x2,…)=0的约束条件下的极值的方法。其主要思想是将约束条件函数与原函数联系到一起,使能配成与变量数量相等的等式方程,从而求出得到原函数极值的各个变量的解。即可以求得:

其中a就是拉格朗日乘子法进入的一个新的参数,也就是拉格朗日乘子。 那么问题就变成了:

所谓的对偶问题就是:

做这种转换是为了后面的求解方便,因为最小值问题,求导就可以啦!! 下面对w和b分别求偏导(这里是纯数学计算,直接给结果了):

在这里求出了两个结果,带入到L(w,b,a)中:

所以问题被转化成为:

注意这里的约束条件有n+1个。

添加符号,再一次转化条件:

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏深度学习自然语言处理

如何直观地解释 back propagation 算法?

BackPropagation算法是多层神经网络的训练中举足轻重的算法。 简单的理解,它的确就是复合函数的链式法则,但其在实际运算中的意义比链式法则要大的多。 ...

17820
来自专栏技术与生活

深度学习之卷积

今日休假,把卷积神经网络梳理下。先从一些基本概念入手,什么是卷积?为什么叫这么个名字? 搜索了一遍,网上有很多人已经表述的非常好了,这里用自己理解的语言重述下。

11120
来自专栏AI科技评论

干货 | 攻击AI模型之DeepFool算法

AI 科技评论按:本文为“兜哥带你学安全”系列之三,首发于AI科技评论,未经许可不得转载。

40030
来自专栏ml

神经网络模型之AlexNet的一些总结

说明: 这个属于个人的一些理解,有错误的地方,还希望给予教育哈~ 此处以caffe官方提供的AlexNet为例. 目录: 1.背景 2.框架介绍 3.步骤详细说...

34350
来自专栏计算机视觉

基于图的分割 Efficient Graph-Based Image Segmentation 论文详解

输入图片 不同参数下的分割结果 原图片 产生superpixel的方法 1. How to segment an image into regions?    ...

53280
来自专栏机器学习算法原理与实践

scikit-learn决策树算法类库使用小结

    之前对决策树的算法原理做了总结,包括决策树算法原理(上)和决策树算法原理(下)。今天就从实践的角度来介绍决策树算法,主要是讲解使用scikit-lear...

22430
来自专栏IT派

经典!构建你的第一个神经网络识别数字

在Keras环境下构建多层感知器模型,对数字图像进行精确识别。模型不消耗大量计算资源,使用了cpu版本的keras,以Tensorflow 作为backende...

37550
来自专栏数据科学学习手札

(数据科学学习手札09)系统聚类算法Python与R的比较

上一篇笔者以自己编写代码的方式实现了重心法下的系统聚类(又称层次聚类)算法,通过与Scipy和R中各自自带的系统聚类方法进行比较,显然这些权威的快捷方法更为高效...

40480
来自专栏null的专栏

优化算法——截断梯度法(TG)

一、L1正则的表达形式    在机器学习中,几乎无人不知无人不晓L1正则与L2正则,L1正则与L2正则都有参数控制的作用,对模型起到约束的作用,防止过拟合。但是...

52660
来自专栏ml

拉格朗日乘子法和KKT条件无约束最优化方法

拉格朗日乘子法(Lagrange Multiplier)和KKT(Karush-Kuhn-Tucker)条件是求解约束优化问题的重要方法,在有等式约束时使用拉格...

30440

扫码关注云+社区

领取腾讯云代金券