机器学习(2) -- logistic regression

本篇内容对应机器学习课程的第二次视频~~~~~~~

大纲:

2 Logistic Regression.

  2.1 Classification.

  2.2 Hypothesis representation.

    2.2.1 Interpreting hypothesis output.

  2.3 Decision boundary.

    2.3.1 Non-linear decision boundaries.

  2.4 Cost function for logistic regression.

    2.4.1 A convex logistic regression cost function.

  2.5 Simplified cost function and gradient descent.

    2.5.1 Probabilistic interpretation for cost function.

    2.5.2 Gradient Descent for logistic regression.

  2.6 Multiclass classification problem

key words: logistic regression, classification, decision boundary, convex function, One-vs-all

2.6 Multiclass classification problem

现实中也常遇到多分类问题(multiclass classification problem),如判断手写的数字是0~9中的哪一个就是一个有10类的问题。多分类学习的基本思路是“拆解法”,即将多分类任务拆为若干个二分类任务求解。具体来说,先对问题进行拆分,然后为拆分出的每个二分类任务训练一个分类器(也就是h(x));在预测时,对这些分类器的预测结果进行集成

下面介绍一个常用的拆分策略-“One-vs-all”.

One-vs-all每次将一个类的样例作为正例(“1”),所有其他类作为反例(“0”)来训练n个分类器。在预测时,有两种情况看:

  • 情况1:若仅有一个分类器预测为正例,则对应的类别标记作为最终分类结果;
  • 情况2:若有多个分类器预测为正例,则选择分类器的预测置信度最大的类别标记为分类结果。

例如对于图2-10所示的多分类问题,我们先将三角形,正方形,叉分别标记为类别1,2,3,然后做如下划分:

  1. 先将三角形看作正例“1”,正方形和叉看作反例“0”,训练出hθ1(x)
  2. 再将正方形看作正例“1”,三角形和叉看作反例“0”,训练出hθ2(x)
  3. 最后将叉看作正例“1”,三角形和正方形看作反例“0”,训练出hθ3(x)

预测时每一个预测值都是一个形如[hθ1(x), hθ2(x), hθ3(x)]的向量。选出最大的h(x),它的上标就是对应的类别标记。例如若预测值为[0.13, 0.24, 0.79],对应的就是上文所说的情况1,即只有hθ3(x) > 0.5表现为正例,所以应该认为是属于3标记类,即为叉。若预测值为[0.12, 0.83, 0.56], 对应的就是上文所说的情况2,hθ2(x) 和hθ3(x)都大于0.5,都预测为正例,但hθ2(x)> hθ3(x),所以应该预测是属于2标记类,即为正方形。

图2-10

原文发布于微信公众号 - 机器学习算法与Python学习(guodongwei1991)

原文发表时间:2016-06-02

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏大数据文摘

数据缺失的坑,无监督学习这样帮你补了

1823
来自专栏机器之心

全面解读用于文本特征提取的神经网络技术:从神经概率语言模型到GloVe

选自arXiv 作者:Vineet John 机器之心编译 参与:吴攀、李亚洲、蒋思源 文本特征提取是自然语言处理的核心问题之一,近日,加拿大滑铁卢大学的 Vi...

4248
来自专栏机器之心

学界 | 哥伦比亚大学与Adobe提出新方法,可将随机梯度下降用作近似贝叶斯推理

选自arXiv 机器之心编译 参与:吴攀 伦比亚大学和 Adobe 的三位研究者近日在 arXiv 上的一篇论文《用作近似贝叶斯推理的随机梯度下降(Stoch...

3228
来自专栏AI科技评论

学界 | 李飞飞学生最新论文:利用场景图生成图像

利用结构化场景图生成图像,能够明确解析对象与对象之间关系,并可生成具有多个可识别对象的复杂图像。 AI 科技评论按:近日,李飞飞的学生 Justin Johns...

4054
来自专栏大数据挖掘DT机器学习

支持向量机(SVM)入门详解(续)与python实现

接前文 支持向量机SVM入门详解:那些你需要消化的知识 让我再一次比较完整的重复一下我们要解决的问题:我们有属于两个类别的样本点(并不限定这些点在二维空间中)若...

3528
来自专栏AI研习社

Geoffrey Hinton | 深度学习之父的神经网络第三课!

作为深度学习祖师,Geoffrey Hinton 的每一句每一言,都使学习者如奉纶音。浓缩其毕生所学的《Neutral Network for Machine ...

3599
来自专栏云时之间

EM算法学习(三)

在前两篇文章中,我们已经大致的讲述了关于EM算法的一些基本理论和一些基本的性质,以及针对EM算法的缺点进行的优化改进的新型EM算法,研究之后大致就能够进行初步的...

33710
来自专栏人工智能

决策树及ID3算法学习

决策树是一种用树形结构来辅助行为研究、决策分析以及机器学习的方式,是机器学习中的一种基本的分类方法。

1.6K16
来自专栏AI研习社

硅谷网红从基础教深度学习中的数学,视频演示不可错过

Siraj Raval 作为深度学习领域的自媒体人在欧美可以说是无人不知、无人不晓。 凭借在 Youtube 上的指导视频,Siraj Raval 在全世界吸...

5039
来自专栏机器学习算法与Python学习

干货 | 请收下这份机器学习清单

机器学习的发展可以追溯到1959年,有着丰富的历史。这个领域也正在以前所未有的速度进化。在之前的一篇文章(https://unsupervisedmethods...

1280

扫码关注云+社区

领取腾讯云代金券