机器学习笔记——Logistic回归算法

参考:

吴恩达 机器学习

关于分类问题的例子:

垃圾邮件分类问题

分类网上交易

对肿瘤的分析辨别预测

logistic回归又称logistic回归分析,是一种广义的线性回归分析模型,常用于数据挖掘,疾病自动诊断,经济预测等领域。

基本思想:

1.寻找合适的假设函数,即分类函数,用以预测输入数据的判断结果;构造代价函数,即损失函数,用以表2.示预测的输出结果与训练数据的实际类别之间的偏差;

3.最小化代价函数,从而获取最优的模型参数。

假设函数(分类函数)修改得到: h_θ (x)=g(θ^T x)

其中函数g为

g(z)=1/(1+e^z )

其中g函数是Sigmoid函数或者是逻辑函数

Sigmoid函数图像

从图像观察可以得到g(z)函数的值一直都在0~1之间,所以就可以推断得出h(x)的值也一定是在0~1之间。

所以假设函数和逻辑函数结合就得到:

h_θ (x)=g(θ^T x)=1/(1+e^(-θ^T X) )

关于肿瘤预测问题的例子:

课程截图

决策界限

假设我们有一个训练集如图:(假设我们都已经拟合了这些数据θ=-311)

线性边界:

课程截图:线性边界

非线性边界:

课程截图:非线性边界

决策边界不是训练集的属性,而是假设本身及其参数的属性。

只要给定了参数向量θ,对应的图像也会随之确定。

hθ(x)函数的值表示结果取1的概率,因此对于输入x分类结果为类别1和类别0的概率分别为【概率公式】:

P(y=1 |x;θ)=h_θ (x)
P(y=0 |x;θ)=1-h_θ (x)

代价函数:

代价函数

其中:

代价函数

当y=1的时候:

当y=1时

当y=0的时候:

当y=0时

等价于:

Cost(h_θ (x),y)=-y*log⁡(h_θ (x))-(1-y)*log⁡(1-h_θ (x))

代入代价函数,得:

课程截图

其中的Cost函数和J函数都是基于最大似然估计法推导得到的。【关于最大似然估计法后续笔记会详细提到】

为了能够拟合函数,我们要找出让J函数取得最小值的参数θ,最小化代价函数的方法,是使用梯度下降法。

如果说想要获得代价函数J的最小值,重复θ的更新过程:

θ_j=θ_j-α ∂/(∂θ_j ) T(θ),J=0,1,2……n 其中α是学习步长

求偏导得:

推导步骤

最后得过程可以改写为:

多元分类:一对多

原理:

假如我们由一个训练集(如图),包含着三个类别:三角形表示y=1,正方形表示y=2,叉表示y=3

通常得解决方式就是:将这个训练集转化为三个独立得二元分类问题。

课程截图

原创声明,本文系作者授权云+社区发表,未经许可,不得转载。

如有侵权,请联系 yunjia_community@tencent.com 删除。

编辑于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏SIGAI学习与实践平台

目标检测算法中检测框合并策略技术综述

物体检测(Object Detection)的任务是找出图像或视频中的感兴趣目标,同时实现输出检测目标的位置和类别,是机器视觉领域的核心问题之一,学术界已有将近...

7463
来自专栏磐创AI技术团队的专栏

【斯坦福CS229】一文横扫机器学习要点:监督学习、无监督学习、深度学习

【磐创AI导读】:提及机器学习,很多人会推荐斯坦福CSS 229。本文便对该课程做了系统的整理。包括监督学习、非监督学习以及深度学习。可谓是是学习ML的“掌上备...

1822
来自专栏PaddlePaddle

激活函数

深度学习基础理论-CNN篇 激活函数 ? 激活函数(activation function)层又称非线性映射层,顾名思义,激活函数的引入为的是增加整个网络的...

3029
来自专栏小石不识月

机器学习中分类与回归的差异

在分类(Classification)问题与回归(Regression)问题之间,有着一个重要的区别。

2199
来自专栏SIGAI学习与实践平台

深度卷积神经网络演化历史及结构改进脉络-40页长文全面解读

从1989年LeCun提出第一个真正意义上的卷积神经网络到今天为止,它已经走过了29个年头。自2012年AlexNet网络出现之后,最近6年以来,卷积神经网络得...

1551
来自专栏SIGAI学习与实践平台

理解AdaBoost算法

与随机森林一样,Boosting算法也是一种集成学习算法,随机森林和集成学习在SIGAI之前的公众号文章“随机森林概述”中已经介绍。Boosting的分类器由多...

944
来自专栏专知

深度学习和普通机器学习之间有何区别?

【导读】文章标题是个很有趣的问题,深度学习作为机器学习的子集,它和普通机器学习之间到底有什么区别呢?作者使用了一种很普通的方式来回答这个问题。 本质上,深度学习...

3915
来自专栏小小挖掘机

整理一份机器学习资料!

本系列主要根据吴恩达老师的课程、李航老师的统计学习方法以及自己平时的学习资料整理!在本文章中,有些地方写的十分简略,不过详细的介绍我都附上了相应的博客链接,大家...

1762
来自专栏绿巨人专栏

神经网络学习笔记-01-基本概念

2657
来自专栏机器学习原理

机器学习(11)——非线性SVM

前言: 上一篇介绍了线性SVM还有一些尾巴没有处理,就是异常值的问题。 软间隔 线性可分SVM中要求数据必须是线性可分的,才可以找到分类的超平面,但是有的时候...

4175

扫码关注云+社区

领取腾讯云代金券