逻辑斯蒂回归(Logistic Regression)

在之前的博客,简单的介绍了线性回归,今天来看看和其十分相关的Logistic Regression。

1. 问题背景

线性回归可以让我们呢学习得到特征和目标label的权重关系,新来的一组测试样本,用同样的特征,它可以告诉我们一个预测值。但是很多时候我们需要的是一个更加有意义的值,比如在CTR预估的时候我们预测用户点击投放广告的概率,医院里预测一个人心脏病发的概率。Logistic Regre(LR)就可以做这么一件事。

2. 初窥

首选来看看Sigmoid函数,其函数表达式为:

函数图像如下(摘自维基百科):

3. 真容

4. 一步之遥

既然有了损失函数之后,我们要做的就是然这个损失函数最小化就好了。由于LR的损失函数是一个高阶可导连续的凸函数,那么根据凸优化理论就可以使用梯度下降法来求得其最优解,我们需要一个优化的方向和一个learning rate。

5. 尾巴

LR看起来是一个简单的模型,但据我所知在工业界还是挺受欢迎的,原因就在于它虽然简单,但是够稳定,可解释性好。但是LR本质上毕竟是一个线性模型,学习能力有限。

这里对于LR是线性模型可能有人会有一些疑问,LR明明用了一个sigmoid变换啊,而sigmoid不是可以作为神经网络的一种叫做激活函数的东西,这还是线性模型?这里LR和神经网络不同的是,LR只是通过sigmoid函数将线性回归的预测值映射到(0,1),但其决策的平面还是线性的,所以LR本质上还是一个线性模型。

一种方法是前期加入一些特征工程的工作(比如,不同特征进行组合),使得其达到拟合非线性的效果。还有一种方法就是使用模型来组合特征(如Facebook 2014年文章中的GBDT+LR),然后再将这些特征送到LR做分类。最近阿里公开其自主研发的MLR(Mixed Logistic Regression)算法,通过分片线性的方式,使其可以直接在原始空间学习非线性关系,实现拟合非线性的平面。最后,当然还可以使用近几年很火的DNN来自动提取特征了,再接一个LR或者softmax,但很可能会遇到过拟合的问题以及模型的稳定性都是一个值得商榷的问题。

以上内容均为博主根据相关资料整理而成,如有错误,请予指正。

参考资料: 1. 周志华.《机器学习》p58-p59 2. 林轩田. 机器学习基石课程 Lecture 10

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏机器学习算法全栈工程师

《机器学习》笔记-计算学习理论(12)

如今机器学习和深度学习如此火热,相信很多像我一样的普通程序猿或者还在大学校园中的同学,一定也想参与其中。不管是出于好奇,还是自身充电,跟上潮流,我觉得都值得试一...

944
来自专栏有趣的Python

2-机器学习启蒙- 回归模型预测房价

2- 回归模型预测房价 房子特征: 房子多大,有几个房间 房子观测量:房价 运用回归进行分类。邮件特征判断是否是垃圾邮件。 预测房价对于中国很适合。不知道房...

3209
来自专栏目标检测和深度学习

目标检测入门最终篇:拾遗及总结

文章结构 本篇为读者展现检测领域多样性的一个视角,跟其他任务联合,有YOLO9000、Mask R-CNN;改进损失函数,有Focal Loss;利用GAN提...

2987
来自专栏CDA数据分析师

资源 | 25个机器学习面试题,期待你来解答

许多数据科学家主要是从一个数据从业者的角度来研究机器学习(ML)。因此,关于机器学习,我们应该尽可能多地把注意力放在新的程序包、框架、技术等方面,而不是关于核心...

621
来自专栏机器学习算法与Python学习

115页PPT带你领略深度生成模型全貌

本文为大家带来了斯坦福大学PH.D Aditya Grover同学的深度生成模型tutorial,希望对大家的学习有所帮助。

680
来自专栏企鹅号快讯

机器学习简介

标题: 机器学习定义 人工智能、机器学习、深度学习的关系 机器学习的学习类别 数据(特征)的种类 几个空间的概念 机器学习的三要素 深度学习的兴起引领了人工智能...

2189
来自专栏数据派THU

一文读懂ML中的解析解与数值解

本文将为你解释为什么没有一个机器学习专家能对上述问题给出直接答案。事实上,找到合适的数据、算法、参数是应用机器学习的难题,也是你唯一需要努力解决的部分。

1104
来自专栏机器之心

资源 | 25个机器学习面试题,期待你来解答

许多数据科学家主要是从一个数据从业者的角度来研究机器学习(ML)。因此,关于机器学习,我们应该尽可能多地把注意力放在新的程序包、框架、技术等方面,而不是关于核心...

411
来自专栏ATYUN订阅号

【行业】如何解决机器学习中出现的模型成绩不匹配问题

评估机器学习模型的程序是,首先基于机器学习训练数据对其进行调试和评估,然后在测试数据库中验证模型是否具有良好的技能。通常,在使用训练数据集评估模型后,你会对得到...

854
来自专栏AI科技评论

大会 | 优必选CVPR 2018录用论文摘要解读

AI 科技评论按:CVPR 2018 总投稿量超 4000 篇,最终录取数超 900 篇,录取率不到 23%。其中,优必选悉尼 AI 研究院有 4 篇论文被录用...

1004

扫码关注云+社区