机器学习笔记——Logistic回归算法

参考:

吴恩达 机器学习

关于分类问题的例子:

垃圾邮件分类问题

分类网上交易

对肿瘤的分析辨别预测

logistic回归又称logistic回归分析,是一种广义的线性回归分析模型,常用于数据挖掘,疾病自动诊断,经济预测等领域。

基本思想:

1.寻找合适的假设函数,即分类函数,用以预测输入数据的判断结果;构造代价函数,即损失函数,用以表2.示预测的输出结果与训练数据的实际类别之间的偏差;

3.最小化代价函数,从而获取最优的模型参数。

假设函数(分类函数)修改得到: h_θ (x)=g(θ^T x)

其中函数g为

g(z)=1/(1+e^z )

其中g函数是Sigmoid函数或者是逻辑函数

Sigmoid函数图像

从图像观察可以得到g(z)函数的值一直都在0~1之间,所以就可以推断得出h(x)的值也一定是在0~1之间。

所以假设函数和逻辑函数结合就得到:

h_θ (x)=g(θ^T x)=1/(1+e^(-θ^T X) )

关于肿瘤预测问题的例子:

课程截图

决策界限

假设我们有一个训练集如图:(假设我们都已经拟合了这些数据θ=-311)

线性边界:

课程截图:线性边界

非线性边界:

课程截图:非线性边界

决策边界不是训练集的属性,而是假设本身及其参数的属性。

只要给定了参数向量θ,对应的图像也会随之确定。

hθ(x)函数的值表示结果取1的概率,因此对于输入x分类结果为类别1和类别0的概率分别为【概率公式】:

P(y=1 |x;θ)=h_θ (x)
P(y=0 |x;θ)=1-h_θ (x)

代价函数:

代价函数

其中:

代价函数

当y=1的时候:

当y=1时

当y=0的时候:

当y=0时

等价于:

Cost(h_θ (x),y)=-y*log⁡(h_θ (x))-(1-y)*log⁡(1-h_θ (x))

代入代价函数,得:

课程截图

其中的Cost函数和J函数都是基于最大似然估计法推导得到的。【关于最大似然估计法后续笔记会详细提到】

为了能够拟合函数,我们要找出让J函数取得最小值的参数θ,最小化代价函数的方法,是使用梯度下降法。

如果说想要获得代价函数J的最小值,重复θ的更新过程:

θ_j=θ_j-α ∂/(∂θ_j ) T(θ),J=0,1,2……n 其中α是学习步长

求偏导得:

推导步骤

最后得过程可以改写为:

多元分类:一对多

原理:

假如我们由一个训练集(如图),包含着三个类别:三角形表示y=1,正方形表示y=2,叉表示y=3

通常得解决方式就是:将这个训练集转化为三个独立得二元分类问题。

课程截图

原创声明,本文系作者授权云+社区发表,未经许可,不得转载。

如有侵权,请联系 yunjia_community@tencent.com 删除。

编辑于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏PaddlePaddle

激活函数

深度学习基础理论-CNN篇 激活函数 ? 激活函数(activation function)层又称非线性映射层,顾名思义,激活函数的引入为的是增加整个网络的...

2919
来自专栏专知

深度学习和普通机器学习之间有何区别?

【导读】文章标题是个很有趣的问题,深度学习作为机器学习的子集,它和普通机器学习之间到底有什么区别呢?作者使用了一种很普通的方式来回答这个问题。 本质上,深度学习...

3875
来自专栏SIGAI学习与实践平台

理解AdaBoost算法

与随机森林一样,Boosting算法也是一种集成学习算法,随机森林和集成学习在SIGAI之前的公众号文章“随机森林概述”中已经介绍。Boosting的分类器由多...

3270
来自专栏SIGAI学习与实践平台

目标检测算法中检测框合并策略技术综述

物体检测(Object Detection)的任务是找出图像或视频中的感兴趣目标,同时实现输出检测目标的位置和类别,是机器视觉领域的核心问题之一,学术界已有将近...

5613
来自专栏Duncan's Blog

StatisticLearning

1.泛化误差/期望损失(风险函数):是理论模型f(X)关于联合分布P(X,Y)的平均意义下的损失.

1102
来自专栏机器学习原理

机器学习(11)——非线性SVM

前言: 上一篇介绍了线性SVM还有一些尾巴没有处理,就是异常值的问题。 软间隔 线性可分SVM中要求数据必须是线性可分的,才可以找到分类的超平面,但是有的时候...

3915
来自专栏AI科技大本营的专栏

干货 | 上手机器学习,从搞懂这十大经典算法开始

翻译 | AI科技大本营(rgznai100) 参与 | 林椿眄 编辑 | 波波,Donna 在机器学习领域,“没有免费的午餐”是一个不变的定理。简而言之,没有...

36210
来自专栏SIGAI学习与实践平台

深度卷积神经网络演化历史及结构改进脉络-40页长文全面解读

从1989年LeCun提出第一个真正意义上的卷积神经网络到今天为止,它已经走过了29个年头。自2012年AlexNet网络出现之后,最近6年以来,卷积神经网络得...

1281
来自专栏大数据挖掘DT机器学习

机器学习、深度学习 知识点总结及面试题

1、反向传播思想: 计算出输出与标签间的损失函数值,然后计算其相对于每个神经元的梯度,根据梯度方向更新权值。 (1)将训练集数据输入到ANN的输入层,经过隐藏...

9258
来自专栏新智元

【斯坦福CS229】一文横扫机器学习要点:监督学习、无监督学习、深度学习

给定一组与输出{y(1),...,y(m)}相关联的数据点{x(1),...,x(m)},我们希望构建一个能够根据x值预测y值的分类器。

681

扫码关注云+社区