逻辑回归介绍

 学习目标

逻辑回归可以用于解决常见的分类问题，也是解决分类中常用的一种算法。在本章我们主要学习逻辑回归的应用场景了解逻辑回归的原理，掌握逻辑回归的损失函数和优化方案，最后，在介绍完分类评估指标后，我们应用逻辑回归模型实现 电信客户流失预测 案例。

1.逻辑回归的应用场景

逻辑回归（Logistic Regression）是机器学习中的 一种分类模型 ，逻辑回归是一种分类算法，虽然名字中带有回归。由于算法的简单和高效，在实际中应用非常广泛

• 广告点击率
• 是否为垃圾邮件
• 是否患病
• 信用卡账单是否会违约

看到上面的例子，我们可以发现其中的特点，那就是都属于两个类别之间的判断。逻辑回归就是解决二分类问题的利器

2.逻辑回归的原理 

要想掌握逻辑回归，必须掌握两点：

• 逻辑回归中，其输入值是什么
• 如何判断逻辑回归的输出

2.1输入  

\large h(w)=w_1x_1+w_2x_2+w_3x_3+,\cdots,+b

逻辑回归的输入就是一个线性方程

2.2激活函数 

sigmoid函数

g(w^T, x)=\frac{1}{1+e^{-h(w)}}=\frac{1}{1+e^{-w^Tx}}

判断标准

• 回归的结果输入到sigmoid函数当中
• 输出结果：[0, 1]区间中的一个概率值，默认为0.5为阈值

逻辑回归最终的分类是通过属于某个类别的概率值来判断是否属于某个类别，并且这个类别默认标记为1(正例),另外的一个类别会标记为0(反例)。（方便损失计算）  

输出结果解释(重要)：假设有两个类别A，B，并且假设我们的概率值为属于A(1)这个类别的概率值。现在有一个样本的输入到逻辑回归输出结果0.55，那么这个概率值超过0.5，意味着我们训练或者预测的结果就是A(1)类别。那么反之，如果得出结果为0.3那么，训练或者预测结果就为B(0)类别。

关于 逻辑回归的阈值是可以进行改变的 ，比如上面举例中，如果你把阈值设置为0.6，那么输出的结果0.55，就属于B类。

在之前，我们用均方误差来衡量线性回归的损失

在逻辑回归中，当预测结果不对的时候，我们该怎么衡量其损失呢？

 我们来看下图(下图中，设置阈值为0.6)

 💡💡那么如何去衡量逻辑回归的预测结果与真实结果的差异呢？

3.损失以及优化 

3.1损失 

逻辑回归的损失，称之为 对数似然损失 ，公式如下：

分开类别：

\large cost(h_\theta(x), y) = \begin{cases} -\log(h_\theta(x)), & \text {if $y=1$ } \\ -\log(1-h_\theta(x)), & \text{if $y=0$} \end{cases}

其中y为真实值，

$h_\theta(x)$

为预测值，怎么理解单个的式子呢？这个要根据log的函数图像来理解

无论何时，我们都希望 损失函数值，越小越好

分情况讨论，对应的损失函数值：

• 当y=1时，我们希望

$h_\theta(x)$

值越大越好；

• 当y=0时，我们希望

$h_\theta(x)$

值越小越好

• 综合完整损失函数

\large cost(h_\theta(x), y) = \sum_{i=1}^m-y_i\log(h_\theta(x))-(1-y_i)\log(1-h_\theta(x))

接下来我们呢就带入上面那个例子来计算一遍，就能理解意义了。  

 我们已经知道，-log(P), P值越大，结果越小，所以我们可以对着这个损失的式子去分析

3.2优化 

 同样使用梯度下降优化算法，去减少损失函数的值。这样去更新逻辑回归前面对应算法的权重参数，提升原本属于1类别的概率，降低原本是0类别的概率。

4.小结 

逻辑回归概念

• 解决的是一个二分类问题
• 逻辑回归的输入是线性回归的输出

逻辑回归的原理

• 输入：线性方程
• 激活函数：sigmoid函数，把线性方程的值域映射到[0,1]，再设置一个阈值，进行分类判断

逻辑回归的损失和优化

• 损失：对数似然损失
• 优化：提升原本属于1类别的概率，降低原本是0类别的概率