专栏首页算法channel3分钟理解 支持向量机中最出神的第一笔

3分钟理解 支持向量机中最出神的第一笔

之前推送过SVM,今天,又有了更容易理解SVM的目标函数和约束怎么得来的思路,因此,记录下来,与大家一起分享。

01

设 g(x) = wx+b,则样本点到g(x)的距离为:

|g(x)| / ||w||

SVM 建立决策边界时,只关心距离决策边界最近的那两个样本点,然后取距离它们都最远的决策边,转化为数学公式为:

max(min(|g(x)| / ||w||))

将它化简为:

max( 1/||w||)

s.t. yi*g(xi) >=1

02

怎么想出来的?

如果设 |g(x)| >= 1 ,则 min( |g(x)| / ||w|| ) = 1 / ||w|| , 进一步地,max(min(|g(x)| / ||w||)) ,可以化简为:

max ( 1 / ||w|| )

那么, |g(x)| >= 1 ,如何化简为 yi * g(xi) >= 1 呢? 注意到 yi 是 第 i 个样本的标签值,要么为 1, 要么为 -1. 当 g(x) >= 0,代表为正例,即 yi = 1,当 g(x) < 0,代表负例,即 yi = -1,因此,|g(x)| = yi * g(x) >= 1.

OK. 接下来便是求解如下最优化目标和约束的优化问题:

max( 1/||w||)

s.t. yi*g(xi) >=1

本文分享自微信公众号 - Python与机器学习算法频道(alg-channel),作者:zhenguo

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2018-05-29

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 机器学习储备(1):协方差和相关系数

    为了深刻理解机器学习算法的原理,首先得掌握其中涉及到的一些基本概念和理论,比如概率,期望,标准差,方差。在这些基本概念上,又衍生出了很多重要概念,比如协方差,相...

    double
  • 这是 隐马尔科夫模型(HMM) 的 2 个基本假设

    上一篇 1个例子解释 隐马尔科夫模型(HMM) 的 5 个基本要素 说了隐马尔可夫模型 (HMM) 的参数,细分的话,包括 5 个基本要素:

    double
  • 机器学习|PageRank算法原理

    01 — 网页排名主要考虑因素 学术界评判学术论文重要性通用方法是看论文的引用次数,原理很多时候都是可以通用的,学术界的思想可以应用到工业界。 google创始...

    double
  • 【一起来烧脑】一步Sass学会体系

    Sass 导入SASS文件 Sass的@import规则在生成css文件时就把相关文件导入进来

    达达前端
  • 做一个网站真的有那么难吗?

    七月半夏
  • 分离django中的媒体文件,静态文件

    django项目中,占很大体积的是静态文件,媒体文件还有html代码,那我们该如何把它们分离出来以方便我们和服务器去管理和使用它们。

    py3study
  • Yum安装Zabbix4.2.0

    时间:2019-04-09 18:27:53      阅读:824      评论:0      收藏:0      [点我收藏+]

    拓荒者
  • 7个能提高你生产力的隐藏Chrome DevTools功能

    开发人员工具对于软件开发是必不可少的。我们需要它们来开发、测试和调试我们的工作。作为web应用程序开发人员,您使用Chrome DevTools的几率非常高。

    Dunizb
  • 浏览器原理学习笔记08—浏览器开发者工具

    前面章节中提到过 Elements面板、Console面板、Sources面板的使用,本章主要讲解 NetWork 面板和 Audits 面板、Performa...

    CS逍遥剑仙
  • LeetCode:144_Binary Tree Preorder Traversal | 二叉树的前序遍历 | Medium

    题目:Binary Tree Preorder Traversal 二叉树的前序遍历,同样使用栈来解,代码如下: 1 struct TreeNode { 2...

    CloudDeveloper

扫码关注云+社区

领取腾讯云代金券