专栏首页NewBeeNLP关于逻辑回归,面试官们都怎么问

关于逻辑回归,面试官们都怎么问

作者 | WEIWEI

整理 | NewBeeNLP

「面试官们都怎么问」系列文章主旨是尽可能完整全面地整理ML/DL/NLP相关知识点,不管是刚入门的新手、准备面试的同学或是温故知新的前辈,我们希望都能通过这一系列的文章收获到或多或少的帮助

这会持续更新,希望你能喜欢

目前已整理的有:

一. 一句话概括逻辑回归

逻辑回归假设数据服从伯努利分布,通过极大化似然函数的方法,运用梯度下降来求解参数,来达到将数据二分类的目的。

这句话包含了五点,接下来一一介绍:

  • 逻辑回归的假设
  • 逻辑回归的损失函数
  • 逻辑回归的求解方法
  • 逻辑回归的目的
  • 逻辑回归如何分类

二. 逻辑回归的假设

任何的模型都是有自己的假设,在这个假设下模型才是适用的。

Hypothesis #1

逻辑回归的第一个基本假设是假设数据服从伯努利分布。

伯努利分布:是一个离散型概率分布,若成功,则随机变量取值1;若失败,随机变量取值为0。成功概率记为p,失败为q = 1-p。

f_{X}(x)=p^{x}(1-p)^{1-x}=\left\{\begin{array}{ll} p & \text { if } x=1 \\ q & \text { if } x=0 \end{array}\right.

在逻辑回归中,既然假设了数据分布服从伯努利分布,那就存在一个成功和失败,对应二分类问题就是正类和负类,那么就应该有一个样本为正类的概率

p

,和样本为负类的概率

q = 1- p

。具体我们写成这样的形式:

p=h_{\theta}(x ; \theta)
q=1-h_{\theta}(x ; \theta)

Hypothesis #2

逻辑回归的第二个假设是正类的概率由sigmoid的函数计算,即:

p=\frac{1}{1+e^{-\theta^{T} x}}

预测样本为正类的概率:

p(y=1 | x ; \theta)=h_{\theta}(x ; \theta)=\frac{1}{1+e^{-\theta^{T} x}}

预测样本为负类的概率:

p(y=0 | x ; \theta)=1-h_{\theta}(x ; \theta)=\frac{1}{1+e^{\theta^{T} x}}

写在一起,即预测样本的类别:

\hat{y}=p=p(y=1 | x ; \theta)^{y}(1-p(y=1 | x ; \theta))^{1-y}

个人理解,解释一下这个公式,并不是用了样本的标签

y

,而是说你想要得到哪个的概率,

y = 1

时意思就是你想得到正类的概率,

y = 0

时就意思是你想要得到负类的概率。另外在求参数时,这个

y

是有用的,这点在下面会说到。

另外关于这个值,

\hat{y}

是个概率,还没有到它真正能成为预测标签的地步,更具体的过程应该是分别求出正类的概率即

y = 1

时,和负类的概率

y = 0

时,比较哪个大,因为两个加起来是1,所以我们通常默认的是只用求正类概率,只要大于0.5即可归为正类,但这个0.5是人为规定的,如果愿意的话,可以规定为大于0.6才是正类,这样的话就算求出来正类概率是0.55,那也不能预测为正类,应该预测为负类。

三. 逻辑回归的损失函数

都说逻辑回归的损失函数是它的极大似然函数,但是为啥呢?

先一句话概括一下极大似然估计,顺便就复习了,以防面试官问起来:

极大似然估计:利用已知的样本结果信息,反推最具有可能(最大概率)导致这些样本结果出现的模型参数值(模型已定,参数未知)

再联系到逻辑回归里,一步步来分解上面这句话,首先确定一下模型是否已定,模型就是用来预测的那个公式:

\hat{y}=\left(\frac{1}{1+e^{-\theta^{T} x}}\right)^{y}\left(\frac{1}{1+e^{\theta^{T} x}}\right)^{1-y}

参数就是里面的

\theta

,那什么是样本结果信息,就是我们的

x

y

,是我们的样本,分别为特征和标签,我们的已知信息就是在特征取这些值的情况下,它应该属于y类(正或负)。

反推最具有可能(最大概率)导致这些样本结果出现的参数,举个例子,我们已经知道了一个样本点,是正类,那么我们把它丢入这个模型后,它预测的结果一定得是正类啊,正类才是正确的,才是我们所期望的,我们要尽可能的让它最大,这样才符合我们的真实标签。反过来一样的,如果你丢的是负类,那这个式子计算的就是负类的概率,同样我们要让它最大,所以此时不用区分正负类。

这样串下来,一切都说通了,概括一下:

一个样本,不分正负类,丢入模型,多的不说,就是一个字,让它大

一直只提了一个样本,但对于整个训练集,我们当然是期望所有样本的概率都达到最大,也就是我们的目标函数,本身是个联合概率,但是假设每个样本独立,那所有样本的概率就可以写成:

loss function=\prod_{i=1}^{N}\left(\frac{1}{1+e^{-\theta^{T} x_{i}}}\right)^{y_{i}}\left(\frac{1}{1+e^{\theta^{T} x_{i}}}\right)^{1-y_{i}}

个人理解,此时,只能叫它目标函数,因为它是我们的目标,那损失函数是啥呢?一般别的算法里,损失函数都是真实值和预测值的误差确定的,所以很好理解。

查了半天资料,好像没有个官方的概念是介绍log损失函数的,那我只能个人理解继续上了,逻辑回归没有损失函数,这个log损失函数是强行叫它的。那为啥叫它log损失函数呢?

我们的目标是最大化上面那个目标函数,那我们就要向目标方向前进,要最大,那就求导啊,要求导,那就化简啊,不然太复杂了,那怎么化简呢?

  • 第一步,取对数,去掉连乘,变为连加,直接给出化简后的结果:
\log (loss\_function)=\sum_{i=1}^{N}\left(y_{i} \log \left(\frac{1}{1+e^{-\theta^{T} x_{i}}}\right)+\left(1-y_{i}\right) \log \left(\frac{1}{1+e^{\theta^{T} x_{i}}}\right)\right)
  • 第二步,为了迎合一般要最小化损失函数,所以加个负号:
-\log (loss\_function)=-\sum_{i=1}^{N}\left(y_{i} \log \left(\frac{1}{1+e^{-\theta^{T} x_{i}}}\right)+\left(1-y_{i}\right) \log \left(\frac{1}{1+e^{\theta^{T} x_{i}}}\right)\right)
  • 化简之后(步骤就不详细放了),就可以称为损失函数了:
\text {loss}=\sum_{i=1}^{N}\left(\left(y_{i} \theta^{T} x_{i}\right)-\log \left(1+e^{\theta^{T} x_{i}}\right)\right)

四. 逻辑回归的求解方法

一般都是用梯度下降法来求解,梯度下降又有随机梯度下降,批梯度下降,small batch 梯度下降三种方式:

  • 简单来说 批梯度下降会获得全局最优解,缺点是在更新每个参数的时候需要遍历所有的数据,计算量会很大,并且会有很多的冗余计算,导致的结果是当数据量大的时候,每个参数的更新都会很慢。
  • 随机梯度下降是以高方差频繁更新,优点是使得sgd会跳到新的和潜在更好的局部最优解,缺点是使得收敛到局部最优解的过程更加的复杂。
  • 小批量梯度下降结合了sgd和batch gd的优点,每次更新的时候使用n个样本。减少了参数更新的次数,可以达到更加稳定收敛结果,一般在深度学习当中我们采用这种方法。

加分项,看你了不了解诸如Adam,动量法等优化方法(在这就不展开了,以后有时间的话专门写一篇关于优化方法的)。因为上述方法其实还有两个致命的问题:

  • 第一个是如何对模型选择合适的学习率。自始至终保持同样的学习率其实不太合适。因为一开始参数刚刚开始学习的时候,此时的参数和最优解隔的比较远,需要保持一个较大的学习率尽快逼近最优解。但是学习到后面的时候,参数和最优解已经隔的比较近了,你还保持最初的学习率,容易越过最优点,在最优点附近来回振荡,通俗一点说,就很容易学过头了,跑偏了。
  • 第二个是如何对参数选择合适的学习率。在实践中,对每个参数都保持的同样的学习率也是很不合理的。有些参数更新频繁,那么学习率可以适当小一点。有些参数更新缓慢,那么学习率就应该大一点。

五. 逻辑回归的目的

将数据二分类

六. 逻辑回归的如何分类

这个在上面的时候提到了,要设定一个阈值,判断正类概率是否大于该阈值,一般阈值是0.5,所以只用判断正类概率是否大于0.5即可。

七. 逻辑回归为什么用极大似然函数作为损失函数

一般和平方损失函数(最小二乘法)拿来比较,因为线性回归用的就是平方损失函数,原因就是平方损失函数加上sigmoid的函数将会是一个非凸的函数,不易求解,会得到局部解,用对数似然函数得到高阶连续可导凸函数,可以得到最优解。

其次,是因为对数损失函数更新起来很快,因为只和x,y有关,和sigmoid本身的梯度无关。

八. 逻辑回归在训练的过程当中,如果有很多的特征高度相关或者说有一个特征重复了100遍,会造成怎样的影响

先说结论,如果在损失函数最终收敛的情况下,其实就算有很多特征高度相关也不会影响分类器的效果。

但是对特征本身来说的话,假设只有一个特征,在不考虑采样的情况下,你现在将它重复100遍。训练以后完以后,数据还是这么多,但是这个特征本身重复了100遍,实质上将原来的特征分成了100份,每一个特征都是原来特征权重值的百分之一。

如果在随机采样的情况下,其实训练收敛完以后,还是可以认为这100个特征和原来那一个特征扮演的效果一样,只是可能中间很多特征的值正负相消了。

九. 为什么我们还是会在训练的过程当中将高度相关的特征去掉

去掉高度相关的特征会让模型的可解释性更好

可以大大提高训练的速度。如果模型当中有很多特征高度相关的话,就算损失函数本身收敛了,但实际上参数是没有收敛的,这样会拉低训练的速度。其次是特征多了,本身就会增大训练的时间。

十. 逻辑回归的优缺点总结

优点:

  • 形式简单,模型的可解释性非常好。从特征的权重可以看到不同的特征对最后结果的影响,某个特征的权重值比较高,那么这个特征最后对结果的影响会比较大。
  • 模型效果不错。在工程上是可以接受的(作为baseline),如果特征工程做的好,效果不会太差,并且特征工程可以大家并行开发,大大加快开发的速度。
  • 训练速度较快。分类的时候,计算量仅仅只和特征的数目相关。并且逻辑回归的分布式优化sgd发展比较成熟,训练的速度可以通过堆机器进一步提高,这样我们可以在短时间内迭代好几个版本的模型。
  • 资源占用小,尤其是内存。因为只需要存储各个维度的特征值。
  • 方便输出结果调整。逻辑回归可以很方便的得到最后的分类结果,因为输出的是每个样本的概率分数,我们可以很容易的对这些概率分数进行cut off,也就是划分阈值(大于某个阈值的是一类,小于某个阈值的是一类)。

缺点:

  • 准确率并不是很高。因为形式非常的简单(非常类似线性模型),很难去拟合数据的真实分布。
  • 很难处理数据不平衡的问题。举个例子:如果我们对于一个正负样本非常不平衡的问题比如正负样本比 10000:1.我们把所有样本都预测为正也能使损失函数的值比较小。但是作为一个分类器,它对正负样本的区分能力不会很好。
  • 处理非线性数据较麻烦。逻辑回归在不引入其他方法的情况下,只能处理线性可分的数据,或者进一步说,处理二分类的问题 。
  • 逻辑回归本身无法筛选特征。有时候,我们会用gbdt来筛选特征,然后再上逻辑回归。

- END -

本文分享自微信公众号 - NewBeeNLP(NewBeeNLP),作者:WEIWEI

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2020-04-03

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • NLP简报(Issue#8)

    这篇综述文章,A Survey on Contextual Embeddings[1]提供了有关学习上下文嵌入的方法简要概述,论文中还回顾了其在迁移学习,模型压...

    kaiyuan
  • NLP简报(Issue#4)

    图灵自然语言生成(T-NLG)[1]是由 Microsoft AI 研究人员提出的 170 亿参数语言模型。除了是迄今为止最大的已知语言模型(如下图所示)之外,...

    kaiyuan
  • NLP简报(Issue#9)

    RONEC[1]是罗马尼亚语的命名实体语料库,在约5000个带注释的句子中包含超过26000个实体,属于16个不同的类。这些句子摘自无版权的报纸,内容涉及多种样...

    kaiyuan
  • 翻译连载 | 附录 A:Transducing(下)-《JavaScript轻量级函数式编程》 |《你不知道的JS》姊妹篇

    原文地址:Functional-Light-JS 原文作者:Kyle Simpson-《You-Dont-Know-JS》作者 JavaScript 轻量级函数...

    iKcamp
  • 简单聊聊模型的性能评估标准

    在机器学习领域中,对模型的评估非常重要,只有选择和问题相匹配的评估方法,才能快速发现算法模型或者训练过程的问题,迭代地对模型进行优化。

    kbsc13
  • 万千变化的IT互联网,永远猜不透。

    诺基亚强势回归,1月8日发布手机6,搭载android系统, 售价1699,为了这次能挽回手机的领域的不利局面,并与京东达成战略合作。首先在京东开售。

    开发者技术前线
  • 干货 | 一分钟了解PyQt的绝对定位

    今天我们首先来谈谈的是PyQt编程中的绝对定位,绝对定位就是每个控件按程序员自己指定的位置进行放置。

    潘永斌
  • 分布式共享Session之SpringSession源码细节

    alexqdjay
  • 性能提升20倍:英伟达GPU旗舰A100登场,全新7nm架构安培出炉

    虽然因为新冠疫情爆发,今年的 GTC 2020 大会也在最后时刻宣布转为线上,不过人们期待 7 纳米制程英伟达 GPU 的热情并没有消退。

    机器之心
  • Nginx80端口转发+域名—实现IP+端口隐藏

    1.打开conf下nginx.conf 在最后一个 } 前插入 include proxy.conf; 2.新建文件 proxy.conf ,进行如下配置

    小诸葛

扫码关注云+社区

领取腾讯云代金券