逻辑回归原理小结

    逻辑回归是一个分类算法,它可以处理二元分类以及多元分类。虽然它名字里面有“回归”两个字,却不是一个回归算法。那为什么有“回归”这个误导性的词呢?个人认为,虽然逻辑回归是分类模型,但是它的原理里面却残留着回归模型的影子,本文对逻辑回归原理做一个总结。

1. 从线性回归到逻辑回归

    我们知道,线性回归的模型是求出输出特征向量Y和输入样本矩阵X之间的线性关系系数\(\theta\),满足\(\mathbf{Y = X\theta}\)。此时我们的Y是连续的,所以是回归模型。如果我们想要Y是离散的话,怎么办呢?一个可以想到的办法是,我们对于这个Y再做一次函数转换,变为\(g(Y)\)。如果我们令\(g(Y)\)的值在某个实数区间的时候是类别A,在另一个实数区间的时候是类别B,以此类推,就得到了一个分类模型。如果结果的类别只有两种,那么就是一个二元分类模型了。逻辑回归的出发点就是从这来的。下面我们开始引入二元逻辑回归。

2. 二元逻辑回归的模型

    上一节我们提到对线性回归的结果做一个在函数g上的转换,可以变化为逻辑回归。这个函数g在逻辑回归中我们一般取为sigmoid函数,形式如下:

    \(g(z) = \frac{1}{1+e^{-z}}\) 

    它有一个非常好的性质,即当z趋于正无穷时,\(g(z)\)趋于1,而当z趋于负无穷时,\(g(z)\)趋于0,这非常适合于我们的分类概率模型。另外,它还有一个很好的导数性质:

    \(g^{'}(z) = g(z)(1-g(z))\) 

    这个通过函数对\(g(z)\)求导很容易得到,后面我们会用到这个式子。

    如果我们令\(g(z)\)中的z为:\({z = x\theta}\),这样就得到了二元逻辑回归模型的一般形式:

    \(h_{\theta}(x) = \frac{1}{1+e^{-x\theta}}\) 

    其中x为样本输入,\(h_{\theta}(x)\)为模型输出,可以理解为某一分类的概率大小。而\(\theta\)为分类模型的要求出的模型参数。对于模型输出\(h_{\theta}(x)\),我们让它和我们的二元样本输出y(假设为0和1)有这样的对应关系,如果\(h_{\theta}(x) >0.5\) ,即\(x\theta > 0\), 则y为1。如果\(h_{\theta}(x) < 0.5\),即\(x\theta < 0\), 则y为0。y=0.5是临界情况,此时\(x\theta = 0\)为, 从逻辑回归模型本身无法确定分类。

    \(h_{\theta}(x)\)的值越小,而分类为0的的概率越高,反之,值越大的话分类为1的的概率越高。如果靠近临界点,则分类准确率会下降。

    此处我们也可以将模型写成矩阵模式:

    \(h_{\theta}(X) = \frac{1}{1+e^{-X\theta}}\) 

    其中\(h_{\theta}(X)\)为模型输出,为 mx1的维度。X为样本特征矩阵,为mxn的维度。\(\theta\)为分类的模型系数,为nx1的向量。

    理解了二元分类回归的模型,接着我们就要看模型的损失函数了,我们的目标是极小化损失函数来得到对应的模型系数\(\theta\)。

3. 二元逻辑回归的损失函数

    回顾下线性回归的损失函数,由于线性回归是连续的,所以可以使用模型误差的的平方和来定义损失函数。但是逻辑回归不是连续的,自然线性回归损失函数定义的经验就用不上了。不过我们可以用最大似然法来推导出我们的损失函数。

    我们知道,按照第二节二元逻辑回归的定义,假设我们的样本输出是0或者1两类。那么我们有:

    \(P(y=1|x,\theta ) = h_{\theta}(x)\)

    \(P(y=0|x,\theta ) = 1- h_{\theta}(x)\)

     把这两个式子写成一个式子,就是:

    \(P(y|x,\theta ) = h_{\theta}(x)^y(1-h_{\theta}(x))^{1-y}\)

    其中y的取值只能是0或者1。

    用矩阵法表示,即为:

    \(P(Y|X,\theta ) = h_{\theta}(X)^Y(E-h_{\theta}(X))^{1-Y}\),其中E为单位向量。

    得到了y的概率分布函数表达式,我们就可以用似然函数最大化来求解我们需要的模型系数\(\theta\)。

    为了方便求解,这里我们用对数似然函数最大化,对数似然函数取反即为我们的损失函数\(J(\theta\))。其中:

    似然函数的代数表达式为:

    \(L(\theta) = \prod\limits_{i=1}^{m}(h_{\theta}(x^{(i)}))^{y^{(i)}}(1-h_{\theta}(x^{(i)}))^{1-y^{(i)}}\)

    其中m为样本的个数。

    对似然函数对数化取反的表达式,即损失函数表达式为:

    \(J(\theta) = -lnL(\theta) = -\sum\limits_{i=1}^{m}(y^{(i)}log(h_{\theta}(x^{(i)}))+ (1-y^{(i)})log(1-h_{\theta}(x^{(i)})))\)

     损失函数用矩阵法表达更加简洁:

    \(J(\theta) = -Y\bullet logh_{\theta}(X) - (E-Y)\bullet log(E-h_{\theta}(X))\)

    其中E为单位向量,\(\bullet\)为内积。

4. 二元逻辑回归的损失函数的优化方法

    对于二元逻辑回归的损失函数极小化,有比较多的方法,最常见的有梯度下降法,坐标轴下降法,等牛顿法等。这里推导出梯度下降法中\(\theta\)每次迭代的公式。由于代数法推导比较的繁琐,我习惯于用矩阵法来做损失函数的优化过程,这里给出矩阵法推导二元逻辑回归梯度的过程。

    对于\(J(\theta) = -Y\bullet logh_{\theta}(X) - (E-Y)\bullet log(E-h_{\theta}(X))\),我们用\(J(\theta)\)对\(\theta\)向量求导可得:

    \(\frac{\partial}{\partial\theta}J(\theta) = -Y \bullet X^T\frac{1}{h_{\theta}(X)}h_{\theta}(X)(1-h_{\theta}(X)) + (E-Y)\bullet X^T\frac{1}{1-h_{\theta}(X)}h_{\theta}(X)(1-h_{\theta}(X))\)

    这一步我们用到了矩阵求导的链式法则,和下面三个矩阵求导公式:

    \(\frac{\partial}{\partial X}logX = 1/X\)

    \(\frac{\partial}{\partial z}g(z) = g(z)(1-g(z))   (g(z)为sigmoid函数) \) 

    \(\frac{\partial}{\partial\theta}X\theta = X^T\)

    对于刚才的求导公式我们进行化简可得:

    \(\frac{\partial}{\partial\theta}J(\theta) = X^T(h_{\theta}(X) - Y )\)

    从而在梯度下降法中每一步向量\(\theta\)的迭代公式如下:

    \(\theta = \theta - \alpha X^T(h_{\theta}(X) - Y )\)

    其中,\(\alpha\)为梯度下降法的步长。

    实践中,我们一般不用操心优化方法,大部分机器学习库都内置了各种逻辑回归的优化方法,不过了解至少一种优化方法还是有必要的。

5. 二元逻辑回归的正则化

    逻辑回归也会面临过拟合问题,所以我们也要考虑正则化。常见的有L1正则化和L2正则化。

    逻辑回归的L1正则化的损失函数表达式如下,相比普通的逻辑回归损失函数,增加了L1的范数做作为惩罚,超参数\(\alpha\)作为惩罚系数,调节惩罚项的大小。

    二元逻辑回归的L1正则化损失函数表达式如下:

    \(J(\theta) = -Y\bullet logh_{\theta}(X) - (E-Y)\bullet log(1-h_{\theta}(X)) + \alpha||\theta||_1\)

    其中\(||\theta||_1\)为\(\theta\)的L1范数。

    逻辑回归的L1正则化损失函数的优化方法常用的有坐标轴下降法和最小角回归法。

    二元逻辑回归的L2正则化损失函数表达式如下:

    \(J(\theta) = -Y\bullet logh_{\theta}(X) - (E-Y)\bullet log(1-h_{\theta}(X)) + \frac{1}{2}\alpha||\theta||_2^2\)

    其中\(||\theta||_2\)为\(\theta\)的L2范数。

    逻辑回归的L2正则化损失函数的优化方法和普通的逻辑回归类似。

6. 二元逻辑回归的推广:多元逻辑回归

    前面几节我们的逻辑回归的模型和损失函数都局限于二元逻辑回归,实际上二元逻辑回归的模型和损失函数很容易推广到多元逻辑回归。比如总是认为某种类型为正值,其余为0值,这种方法为最常用的one-vs-rest,简称OvR.

    另一种多元逻辑回归的方法是Many-vs-Many(MvM),它会选择一部分类别的样本和另一部分类别的样本来做逻辑回归二分类。最常用的是One-Vs-One(OvO)。OvO是MvM的特例。每次我们选择两类样本来做二元逻辑回归。

    这里只介绍多元逻辑回归的softmax回归的一种特例推导:

    首先回顾下二元逻辑回归。

    \(P(y=1|x,\theta ) = h_{\theta}(x) =  \frac{1}{1+e^{-x\theta}} = \frac{e^{x\theta}}{1+e^{x\theta}}\)

    \(P(y=0|x,\theta ) = 1- h_{\theta}(x) = \frac{1}{1+e^{x\theta}}\)

    其中y只能取到0和1。则有:

    \(ln\frac{P(y=1|x,\theta )}{P(y=0|x,\theta)} = x\theta\)

    如果我们要推广到多元逻辑回归,则模型要稍微做下扩展。

    我们假设是K元分类模型,即样本输出y的取值为1,2,。。。,K。

    根据二元逻辑回归的经验,我们有:

    \(ln\frac{P(y=1|x,\theta )}{P(y=K|x,\theta)} = x\theta_1\)

    \(ln\frac{P(y=2|x,\theta )}{P(y=K|x,\theta)} = x\theta_2\) 

    ...

    \(ln\frac{P(y=K-1|x,\theta )}{P(y=K|x,\theta)} = x\theta_{K-1}\) 

    上面有K-1个方程。

    加上概率之和为1的方程如下:

    \(\sum\limits_{i=1}^{K}P(y=i|x,\theta ) = 1\)

    从而得到K个方程,里面有K个逻辑回归的概率分布。

    解出这个K元一次方程组,得到K元逻辑回归的概率分布如下:

    \(P(y=k|x,\theta ) =  e^{x\theta_k} \bigg/ 1+\sum\limits_{t=1}^{K-1}e^{x\theta_t}\)  k = 1,2,...K-1

    \(P(y=K|x,\theta ) =  1 \bigg/ 1+\sum\limits_{t=1}^{K-1}e^{x\theta_t}\)

    多元逻辑回归的损失函数推导以及优化方法和二元逻辑回归类似,这里就不累述。

7.小结

    逻辑回归尤其是二元逻辑回归是非常常见的模型,训练速度很快,虽然使用起来没有支持向量机(SVM)那么占主流,但是解决普通的分类问题是足够了,训练速度也比起SVM要快不少。如果你要理解机器学习分类算法,那么第一个应该学习的分类算法个人觉得应该是逻辑回归。理解了逻辑回归,其他的分类算法再学习起来应该没有那么难了。

 (欢迎转载,转载请注明出处。欢迎沟通交流: liujianping-ok@163.com) 

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏决胜机器学习

卷积神经网络(二) ——LetNet-5、AlexNet、VGG-16、残差网络

卷积神经网络(二) ——LetNet-5、AlexNet、VGG-16、残差网络 (原创内容,转载请注明来源,谢谢) 一、概述 本文主要介绍几种卷积网络模型,学...

60660
来自专栏YoungGy

记忆网络RNN、LSTM与GRU

RNN 结构 训练 应用 RNN Variants LSTM 结构 梯度消失及梯度爆炸 GRU 结构 ? 一般的神经网络输入和输出的维度大小都是固定的,针对序列...

401100
来自专栏企鹅号快讯

几种循环神经网络介绍

基于图展开和参数共享的思想,我们可以设计各种循环神经网络。 ? 计算循环网络(将 x值的输入序列映射到输出值 o 的对应序列) 训练损失的计算图。损失L 衡量每...

38990
来自专栏null的专栏

深度学习算法原理——栈式自编码神经网络

注:最近打算将UFLDL教程重新看一遍,其实里面有很多关于神经网络以及深度学习的知识点很有用,但是只是学习深度学习的话有一些内容就有点多余,所以想整理一个笔记,...

40650
来自专栏编程

深度学习中的损失函数总结以及Center Loss函数笔记

目标函数,损失函数,代价函数 损失函数度量的是预测值与真实值之间的差异.损失函数通常写做L(y_,y).y_代表了预测值,y代表了真实值. 目标函数可以看做是优...

64480
来自专栏张俊红

Sklearn参数详解—LR模型

2.9K60
来自专栏PaddlePaddle

卷积神经网络的基本结构

深度学习基础理论-CNN篇 卷积神经网络的基本结构 ? 总体来说,卷积神经网络是一种层次模型(hierarchical model),其输入是原始数据(ra...

447130
来自专栏专知

【计算机视觉】检测与分割详解

【导读】神经网络在计算机视觉领域有着广泛的应用。只要稍加变形,同样的工具和技术就可以有效地应用于广泛的任务。在本文中,我们将介绍其中的几个应用程序和方法,包括语...

16630
来自专栏石瞳禅的互联网实验室

【TensorFlow实战——笔记】第3章:TensorFlow第一步_TensorFlow实现Softmax Regression识别手写数字

MNIST(Mixed National Institute of Standards and Technology database)是一个非常简单的机器视觉...

7600
来自专栏机器学习与自然语言处理

Stanford机器学习笔记-8. 支持向量机(SVMs)概述

8. Support Vector Machines(SVMs) Content 8. Support Vector Machines(SVMs)   ...

351120

扫码关注云+社区

领取腾讯云代金券