专栏首页张俊红逻辑斯蒂回归模型

逻辑斯蒂回归模型

总第83篇

01|基本概念:

在介绍逻辑回归模型以前,先介绍一下逻辑斯谛分布。

设X是连续型随机变量,X服从逻辑斯蒂分布是指X具有下列分布函数F(x)和密度函数f(x):

逻辑斯谛分布的分布函数F(x)的曲线如图所示,其图形是一条S形曲线,曲线在中心附近增长最快,在两端增长速度较慢。当x无穷大时,F(x)接近于1;当x无穷小时,F(x)接近于0。

(逻辑回归分布函数)

02|二项逻辑斯谛回归模型:

二项逻辑斯蒂回归模型是一种分类模型,由条件概率分布P(Y|X)表示,形式为参数化的逻辑斯蒂分布?这里随机变量X取值为实数,随机变量Y取值为1或0。

二项逻辑斯谛回归模型是如下的条件概率分布:

这里x属于实数,Y属于{0,1}是输出,w和b是参数,w称为权值向量,b称为偏置,

为w和x的内积。

对于给定的输入实例x,按照上述分布函数可以求得P(Y=1|x)和P(Y=0|x)。逻辑斯谛回归是比较两个条件概率值的大小,将实例x分到概率值大的那一类。

有时候为了方便,将权值向量和输入向量加以扩充,仍记作w,x,即

,

。这时,逻辑斯蒂回归模型如下:

得到上面的回归模型了,上面的回归模型中有一个未知参数w,在利用上述的模型对数据进行预测之前需要先求取参数w的值,这里采用极大似然估计的方法求取参数w。

,

似然函数为:

对数似然函数为:

这样问题就变成了以对数似然函数为目标函数的最优化问题。逻辑斯蒂回归学习中通常采用的方法是梯度下降法以及拟牛顿法。

将利用极大似然估计得到的w值代入上述的模型中,即可用于测试数据集的预测。

03|多项逻辑斯蒂回归:

二项逻辑斯谛回归模型是二项分类模型,用于二分类问题中。可以将其推广到多项逻辑斯谛回归模型,用于多分类问题。假设离散型随机变量Y的可能取值集合是{1,2,...,K},那么多项逻辑斯谛回归模型是:

本文分享自微信公众号 - 张俊红(zhangjunhong0428),作者:张俊红

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2017-10-21

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 逻辑斯蒂回归(Logistic Regression)

    在之前的博客,简单的介绍了线性回归,今天来看看和其十分相关的Logistic Regression。 1. 问题背景 线性回归可以让我们呢学习得到特征和...

    用户1148830
  • 逻辑斯蒂回归(Logistic Regression)

    定义x=<x1,x2,...xn>来表示n维特征向量,权重为w=<w1,w2,...wn>,同时,截距(Intercept)为b。则这种线性关系为: f(w,...

    用户2909867
  • 机器学习之Logistic回归(逻辑蒂斯回归)

    版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/sinat_35512245/articl...

    大黄大黄大黄
  • R语言逻辑斯蒂回归小实例

    Logistic regression, also called a logit model, is used to model dichotomous out...

    用户7010445
  • [机器学习算法]逻辑回归模型

    线性回归模型可以用于回归模型的学习,当我们需要用线性模型实现分类问题比如二分类问题时,需要用一个单调可微函数将线性回归的连续结果映射到分类回归真实标记的离散值上...

    TOMOCAT
  • 李航《统计学习方法》逻辑斯蒂回归

    Coggle数据科学
  • 逻辑斯谛回归及其物理含义

    先来看看书上逻辑斯谛回归模型的公式吧,再了解公式的情况下,我们再来谈谈它实际的物理含义。吼吼,它貌似蛮有内涵的,也是从生物学上挖过来的一条曲线吧。

    用户1147447
  • 快速学习-机器学习(模型介绍)

    cwl_java
  • 机器学习预测乳腺癌良恶性(1)(逻辑回归)

    逻辑回归算法思想:逻辑回归(LogisticRegression)是当前机器学习算法比较常用的方法,可以用来回归分析,也可以用来分类,主要是二分类问题。逻辑回归...

    用户1359560
  • python数据分析师面试题选

    python数据分析部分 1. 如何利用SciKit包训练一个简单的线性回归模型 利用linear_model.LinearRegression()函数 #...

    机器学习AI算法工程
  • 逻辑斯谛回归(对数几率回归)

    线性回归完成了数据的拟合,我们通过引入一个sigmoidsigmoidsigmoid函数,即可在线性回归模型的基础上实现分类。

    JNJYan
  • 逻辑回归模型及Python实现

    1.模型 在分类问题中,比如判断邮件是否为垃圾邮件,判断肿瘤是否为阳性,目标变量是离散的,只有两种取值,通常会编码为0和1。假设我们有一个特征X,画出散点图,结...

    企鹅号小编
  • 【算法】逻辑回归(Logistic Regression) 模型

    小编邀请您,先思考: 1 逻辑回归算法的原理是什么? 2 逻辑回归算法的有哪些应用? 逻辑回归(Logistic Regression)是机器学习中的一种分类模...

    陆勤_数据人网
  • 我眼中的逻辑回归模型

    当被解释变量Y为 取有限个可能值 的分类变量时,需要建立分类选择模型。分类选择模型大约有十几个左右,例如:

    许卉
  • 逻辑斯谛回归模型( Logistic Regression,LR)& 最大熵模型(Max Entropy,ME)

    binomial logistic regression model 是一种分类模型,由条件概率分布

    Michael阿明
  • 使用R完成逻辑斯蒂回归分类 直接上代码,如下:

    data_sample <- iris[51:150,]; m <- dim(data_sample)[1]  #获取数据集记录条数 val <- sampl...

    学到老
  • 使用R完成逻辑斯蒂回归分类 直接上代码,如下:

    版权声明:本文为博主原创文章,欢迎交流分享,未经博主允许不得转载。 https://blog...

    学到老
  • 逻辑回归 + GBDT模型融合实战!

    协同过滤和矩阵分解存在的劣势就是仅利用了用户与物品相互行为信息进行推荐, 忽视了用户自身特征, 物品自身特征以及上下文信息等,导致生成的结果往往会比较片面。而这...

    Datawhale
  • Python|机器学习-逻辑回归模型

    用J表示损失函数,计算交叉熵为损失函数的值。交叉熵函数可以衡量预测结果与实际结果的相似性。

    rare0502

扫码关注云+社区

领取腾讯云代金券