春节充电系列:李宏毅2017机器学习课程学习笔记04之分类(Classification)

【导读】我们在上一节的内容中已经为大家介绍了台大李宏毅老师的机器学习课程的梯度下降问题,一步步讲解了梯度下降的若干主要问题:调整学习率、随机梯度下降、feature scaling、以及如何直观的理解梯度下降。这一节主要介绍常见的分类问题(Classification),本文内容涉及机器学习中分类问题的几个主要问题:分类的定义、分类的回归模型等价、分类的概率模型、示例说明。话不多说,让我们一起学习这些内容吧。

春节充电系列:李宏毅2017机器学习课程学习笔记01之简介

春节充电系列:李宏毅2017机器学习课程学习笔记02之Regression

春节充电系列:李宏毅2017机器学习课程学习笔记03之梯度下降

课件网址:

http://speech.ee.ntu.edu.tw/~tlkagk/courses_ML17_2.html

视频网址:

https://www.bilibili.com/video/av15889450/index_1.html

李宏毅机器学习笔记 4 Classification

分类问题可以应用在很多领域,例如信用评分,医疗诊断,手写数字辨识,面部识别等领域。

以pokemon的类型辨识作为例子解释分类问题,pokemon有很多类型,比如火系,水系,电系等。

我们可以根据pokemon一系列特征,来解决分类问题

分类问题当作回归问题



如果分类问题当作一个回归问题解决,以二分类作为例子,给定一系列数据集,这些数据集有标签,其中我们可以让1表示class1,-1表示class2。

理想情况下如下图左边所示,貌似当做回归问题解决可以很好解决分类问题。但当碰到那些过于“正确”的例子时,会发生下图右边的情况,这时候分类效果并不理想

分类问题当作概率模型



于是我们可以尝试使用概率的模型来解决分类问题。例如我们知道类别1,类别2的概率,知道已知类别1情况下blue的概率,知道已知类别2情况下blue的概率,于是我们可以推得已知blue情况下为类别1的概率。

举例



下面用具体的例子来计算说明

已知water类pokemon有79只,normal类pokemon有61只,我们可以得到其类别的概率。

我们用一个向量来表示一个pokemon的属性

Water类的79只pokemon向量表示我们已经知道

我们假设其分布服从高斯分布,利用最大似然估计,我们可以轻易得到求高斯分布均值和方差的公式。

最后将算出的概率汇总,利用之前的公式,得到x是class1的概率,当这个概率大于0.5时我们认为其属于class1。

最终得到如下结果。

为了有效减少参数,可以让两个模型用同样的协方差矩阵

μ1和μ2算法和以前一样

我们观察实验结果,可以发现当两个高斯分布协方差矩阵相同时,class的边界是线性函数

并且正确率大为提高

我们来稍微改变一下前面的条件概率公式,可以得到sigmoid function

然后对sigmoid的z进行化简

当两个高斯分布的协方差矩阵相同时我们可以继续化简得到

从上图我们可以明白为什么当两个高斯分布的协方差矩阵相同时其class的边界为线性函数。

后台回复“LHY2017” 就可以获取 2017年李宏毅中文机器学习课程下载链接~

-END-

本文分享自微信公众号 - 专知(Quan_Zhuanzhi)

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2018-02-16

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏目标检测和深度学习

综述:深度学习时代的目标检测算法

来源:https://zhuanlan.zhihu.com/p/33277354 目前目标检测领域的深度学习方法主要分为两类:two stage的目标检测算法;...

44750
来自专栏CSDN技术头条

线性分类器 VS 非线性分类器

在这一小节,我展示了Naive Bayes和Rocchio这两个学习方法,它们都属于线性分类器,大概也是文本分类器中最重要的一组,接着我把它们和非线性分类器做了...

43550
来自专栏老秦求学

[Deep-Learning-with-Python]机器学习基础

二分类、多分类以及回归问题都属于监督学习--目标是学习训练输入和对应标签之间的关系。 监督学习只是机器学习的冰山一角。机器学习主要分为4类:监督学习、非监督学...

11730
来自专栏人工智能头条

线性分类器 VS 非线性分类器

10730
来自专栏企鹅号快讯

机器学习之白话adaboost元算法

阅读本文大约需要5分钟 作为(曾)被认为两大最好的监督分类算法之一的adaboost元算法(另一个为前几节介绍过的SVM算法),该算法以其简单的思想解决复杂的分...

21460
来自专栏计算机视觉战队

深度判别和共享特征学习的图像分类

秋雨思童年,落花念爱霖!一场秋雨的洗礼,让我们进入了真正能感觉得到的秋季。秋季是丰收的季节,不知朋友您收获如何?但是我相信您一定硕果累累,满载着各种成果、业绩和...

36470
来自专栏Echo is learning

machine learning 之 logistic regression

8310
来自专栏智能算法

基于深度学习的目标检测算法综述

摘要: 从2014年开始,目标检测取得了巨大的突破。本文针对目前主流的目标检测方法进行简单的介绍,文章分为两个部分:第一部分介绍R Girshick提出的以R-...

827130
来自专栏计算机视觉战队

每日一学——神经网络(下)

神经网络结构 灵活地组织层 将神经网络算法以神经元的形式图形化。神经网络被建模成神经元的集合,神经元之间以无环图的形式进行连接。也就是说,一些神经元的输出是另一...

35970
来自专栏计算机视觉life

SLIC 超像素分割详解(三):应用

看过上面的介绍后,我们应该思考一下:分割好的超像素有什么用?怎么用?用到哪里? 首先,超像素可以用来做跟踪,可以参考卢湖川课题组发表在IEEE TIP上的《Ro...

508100

扫码关注云+社区

领取腾讯云代金券