逻辑斯蒂回归(Logistic Regression)

在之前的博客,简单的介绍了线性回归,今天来看看和其十分相关的Logistic Regression。

1. 问题背景

线性回归可以让我们呢学习得到特征和目标label的权重关系,新来的一组测试样本,用同样的特征,它可以告诉我们一个预测值。但是很多时候我们需要的是一个更加有意义的值,比如在CTR预估的时候我们预测用户点击投放广告的概率,医院里预测一个人心脏病发的概率。Logistic Regre(LR)就可以做这么一件事。

2. 初窥

首选来看看Sigmoid函数,其函数表达式为:

函数图像如下(摘自维基百科):

3. 真容

4. 一步之遥

既然有了损失函数之后,我们要做的就是然这个损失函数最小化就好了。由于LR的损失函数是一个高阶可导连续的凸函数,那么根据凸优化理论就可以使用梯度下降法来求得其最优解,我们需要一个优化的方向和一个learning rate。

5. 尾巴

LR看起来是一个简单的模型,但据我所知在工业界还是挺受欢迎的,原因就在于它虽然简单,但是够稳定,可解释性好。但是LR本质上毕竟是一个线性模型,学习能力有限。

这里对于LR是线性模型可能有人会有一些疑问,LR明明用了一个sigmoid变换啊,而sigmoid不是可以作为神经网络的一种叫做激活函数的东西,这还是线性模型?这里LR和神经网络不同的是,LR只是通过sigmoid函数将线性回归的预测值映射到(0,1),但其决策的平面还是线性的,所以LR本质上还是一个线性模型。

一种方法是前期加入一些特征工程的工作(比如,不同特征进行组合),使得其达到拟合非线性的效果。还有一种方法就是使用模型来组合特征(如Facebook 2014年文章中的GBDT+LR),然后再将这些特征送到LR做分类。最近阿里公开其自主研发的MLR(Mixed Logistic Regression)算法,通过分片线性的方式,使其可以直接在原始空间学习非线性关系,实现拟合非线性的平面。最后,当然还可以使用近几年很火的DNN来自动提取特征了,再接一个LR或者softmax,但很可能会遇到过拟合的问题以及模型的稳定性都是一个值得商榷的问题。

以上内容均为博主根据相关资料整理而成,如有错误,请予指正。

参考资料: 1. 周志华.《机器学习》p58-p59 2. 林轩田. 机器学习基石课程 Lecture 10

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏杨熹的专栏

强化学习 10: 实践中的一些技巧

1. 我们知道在交叉熵方法中,例如进行一百次实验,那么只需要选择其中最好的25次。这样的采样其实是效率很低的。

531
来自专栏人工智能

人工智能发展史(七)CNN卷积神经网络那些事儿

在大风中紧紧抓住你的帽子,紧紧抓住你的希望,别忘了给你的钟上发条。明天是新的一天。 by怀特 ? 首先祝大家平安夜快乐,明天的圣诞节快乐~ 这周我们用最通俗的解...

24611
来自专栏AI科技评论

独家 | 利用特权信息、语义信息和多源信息辅助基于网络数据的学习

雷锋网 AI 科技评论按:本文由美国莱斯大学博士后牛力为 AI 科技评论提供的独家稿件,未经许可不得转载。

1152
来自专栏小小挖掘机

推荐系统遇上深度学习(二十八)--知识图谱与推荐系统结合之MKR模型原理及实现

依次训练的方法主要有:Deep Knowledge-aware Network(DKN) 联合训练的方法主要有:Ripple Network 交替训练主要采用m...

1092
来自专栏AI研习社

怎样信息最大化?什么是“范例卷积神经网络”?这篇文章告诉你答案

AI 研习社按:本文由图普科技编译自《Exemplar CNNs and Information Maximization》,雷锋网 AI 研习社独家首发。文中...

3186
来自专栏书山有路勤为径

改善深层神经网络-设置机器学习应用

这有一个常见的误区,在机器学习发展的小数据时代,常见做法是将所有数据三七分,70%训练集,30%测试集或者60%训练集,20%验证集,20%测试集,这是机器学习...

652
来自专栏新智元

震撼!英伟达用深度学习做图像修复,毫无ps痕迹

2715
来自专栏AI科技大本营的专栏

盘点|最实用的机器学习算法优缺点分析,没有比这篇说得更好了

推荐理由 对于机器学习算法的盘点,网上屡见不鲜。但目前,还没人能结合使用场景来把问题说明白,而这一点正是本文的目的所在。 在文章中,作者将结合他的实际经验...

4347
来自专栏编程

论文报告 Semi-supervised Word Sense Disambiguation

链接:https://arxiv.org/pdf/1603.07012.pdf 简介: 本文解决的问题是自然语言处理领域里的经典任务之一:语义消歧(Word S...

2176
来自专栏marsggbo

DeepLearning.ai学习笔记(三)结构化机器学习项目--week2机器学习策略(2)

一、进行误差分析 很多时候我们发现训练出来的模型有误差后,就会一股脑的想着法子去减少误差。想法固然好,但是有点headlong~ 这节视频中吴大大介绍了一个...

1976

扫码关注云+社区