机器学习常用模型——逻辑回归

机器学习的算法有很多种，在工程应用中最常用的算法有以下几种：逻辑回归，场感知因子分解梯度提升树、随机森林、神经网络。在图像语音领域问题通用的解决方案都是神经网络的相关模型，例如卷积神经网络、循环神经网络等，其他监督学习问题主要用逻辑回归、梯度提升树、场感知因子分解机和神经网络。

我们在这里介绍一种应用十分广泛的模型——逻辑回归。

简介

逻辑回归是一种广义线性模型，它与线性回归模型包含的线性函数十分相似。但逻辑回归通过对数概率函数将线性函数的结果进行映射，目标函数的取值空间从(-∞，+∞)映射到了(0.1) 从而可以处理分类问题。

作用

数据线性可分可以使用线性分类器，如果数据线性不可分，可以使用非线性分类器，似乎逻辑回归没有存在的必要。但是如果我们想知道对于一个二类分类问题，对于具体的一个样例，我们不仅想知道该类属于某一类，而且还想知道该类属于某一类的概率多大,有什么办法呢？

此时，线性回归和非线性回归都无法解决这个问题，我们从表达式上来解释原因：

上式中，y的取值范围为(-∞，+∞)，但是概率的取值为[0,1]，并不能给出属于某一类的概率。我们需要一个映射函数，来将y的取值范围映射到[0,1]范围内，并且这个函数能够具有很好的可微分性。

原理

最理想的映射函数是单位阶跃函数，即预测值大于零就判为正例，预测值小于零则判为负例，值为临界值则可任意判别。虽然单位阶跃函数看似完美解决了这个问题，但是单位阶跃函数不连续并且不充分光滑，因而无法进行求解。

所以我们希望找到一个近似函数来替代单位阶跃函数。人们找到了这样一个函数，即逻辑斯谛函数，也就是我们常说的sigmoid函数，其形式如下：

sigmoid函数的图像为：

这样，就将原本取值为(-∞，+∞)的y值映射到[0,1]上。

定义二项逻辑回归模型的条件概率分布如下式：

总结

1、逻辑回归最大的优势在于它的输出结果不仅可以用于分类，还可以表征某个样本属于某类别的概率。

2、sigmoid函数将原本输出结果从范围（−∞，+∞）映射到(0,1)，从而完成概率的估测。

3、逻辑回归得判定的阈值能够映射为平面的一条判定边界，随着特征的复杂化，判定边界可能是多种多样的样貌，但是它能够较好地把两类样本点分隔开，解决分类问题。

4、求解逻辑回归参数的传统方法是梯度下降，构造为凸函数的代价函数后，每次沿着偏导方向(下降速度最快方向)迈进一小部分，直至N次迭代后到达最低点。

孙宁，重庆大学无线通信技术硕士研究生，主研方向为AI及其在无线通信中的应用。