专栏首页杨熹的专栏用对偶法求解 SVR

用对偶法求解 SVR

支持向量回归(Support Vector Regression,SVR)

是一种有“宽容度”的回归模型,

即 它在线性函数两侧制造了一个“间隔带”,对于所有落入到间隔带内的样本,都不计算损失;只有间隔带之外的,才计入损失函数

模型函数为:y = wx + b

目标为:最小化间隔带的宽度与总损失

SVR 希望所有的样本点都落在“隔离带”里面

引入了两个松弛变量

我们最终要求的是 w 和 b,

也用对偶方法进行求解,分为以下几步:

1. 首先它是符合强对偶的三个条件的,

2. 然后求出它的拉格朗日函数

3. 再求下确界函数,方法是对W和b,还有两个松弛变量求偏导,令其等于零,得到的关系式代入拉格朗日函数,然后得到了只有两个参数 alpha alpha* 的对偶问题,并将极大值问题转化为极小值问题。这一步同时得到了 w 的表达式

4. 接着用 SMO算法的 KKT 条件,将两个参数的对偶问题转换为一个参数 lambda 的对偶问题

5. 由 KKT 条件得出,落在隔离带边缘超平面上的样本,是 SVR 的支持向量,于是由支持向量得到 b 的表达式

6. 至此 w 和 b 表达式都得到了,进而得到了 SVR 的模型函数

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 《百面机器学习》笔记-特征工程相关面试题2

    例如,特征a有m个取值,特别b 有n个取值,将二者组合就有m*n个组成情况。这时需要学习的参数个数就是 m×n 个

    杨熹
  • 中文NLP笔记:14. 中文命名实体提取

      一般包括三大类(实体类、时间类和数字类)和七小类(人名、地名、机构名、时间、日期、货币和百分比)

    杨熹
  • 盘点自然语言处理的 2018,预测 2019

    迁移学习是将预训练模型应用到一个新的数据集,是计算机视觉领域爆炸式进步的一个关键,在2018年成功应用到了NLP

    杨熹
  • 干货 | 关于数学规划求解器lp_solve 超全面超详细的教程

    Mixed Integer Linear Programming (MILP) solver lp_solve solves pure linear, (mix...

    用户1621951
  • LeetCode 652: 寻找重复的子树 Find Duplicate Subtrees

    给定一棵二叉树,返回所有重复的子树。对于同一类的重复子树,你只需要返回其中任意一棵的根结点即可。

    爱写bug
  • 干货 | 关于数学规划求解器lp_solve 这里有份超全面超详细的教程,你离lpsolve高手只有一步之遥!

    Mixed Integer Linear Programming (MILP) solver lp_solve solves pure linear, (mix...

    短短的路走走停停
  • [软件]集成kvm驱动版PE及KVM驱动包

    http://coredlserver.s-api.yunvm.com/xen.zip

    繁花云
  • Leetcode 30 Substring with Concatenation of All Words 无序map的应用细节

    You are given a string, s, and a list of words, words, that are all of the same...

    triplebee
  • 如何自动化和集成IIoT系统

    尽管IIoT计划正在加速发展,但要成功地将IoT集成到旧工业系统中仍然是一个挑战。这里有七个注意事项,它们将引导您的IIoT计划走向成功。

    用户4122690
  • 谷歌大脑深度学习从入门到精通视频课程[7.5]:深度学习——Dropout

    AI100 已经引入 Hugo Larochelle 教授的深度学习课程,会在公众号中推送,并且对视频中的 PPT 进行讲解。课后,我们会设计一系列的问题来巩...

    AI科技大本营

扫码关注云+社区

领取腾讯云代金券