机器学习笔记逻辑斯谛回归

(一)回归与分类

回归问题：用于预测输入变量X和输出变量Y之间的关系（即映射函数Y=f(X)），通常用来预测一个值，其值是连续值。其学习过程分为学习和预测两个过程。学习过程是对已知的训练数据集选择一条函数曲线，使得训练数据集（X，Y）约大多数都满足Y=f(X)这个映射关系；预测过程是对新输入的数据X’，使用上面得到的映射关系预测得到Y’。

分类问题：对输入变量X（可以是连续变量，也可以是离散变量），输出Y取值有限个离散值（用于标识类别的数学值），通常用于将事物打上一个标签，通常结果为离散值。其学习过程分为学习和分类两个过程。学习过程是对已知的训练数据集选择一个分类器（在监督学习过程中从数据中学习一个分类模型或分类决策函数称为分类器，如感知机、决策树分类模型）；分类过程是对新的输入进行分类。

本站前面讲到的感知机和支持向量机适用于分类问题的处理，决策树和k近邻法既适用于分类问题也适用于回归问题（前文只讲解到适用于分类问题的场景）

本文将要讲到的逻辑斯谛回归这类机器学习模型适用于分类问题，虽然名字里有回归但他不是处理回归问题，他适用于处理分类问题！这里只是因为其学习过程使用到了回归算法。

总结，简单来说分类问题输出的是离散值，回归问题输出连续预测值。

(二)逻辑斯谛回归模型

在某些分类问题的实际应用场景中无法找到绝对的判断条件进行区别类别，比如典型的医疗领域肿瘤影像分析便不能直接给出是否是肿瘤的判断，这种情况下需要通过概率来判断（概率大于某个阈值）。

逻辑斯谛回归模型是一种采用逻辑斯谛概率分布的数学手段处理上述问题的一种机器学习模型，因此命名为逻辑斯谛回归模型。

2.1逻辑斯谛分布

设X是连续随机变量，X服从逻辑斯谛分布是指X具有下列分布函数和密度函数：

分布函数和密度函数曲线如下图所示：

2.2二项逻辑斯谛回归

对于输入变量X，输出变量Y取值1或0，那么二项逻辑斯谛回归模型是下述条件概率分布：

对于给定的输入实例x,按照上式可求得P(Y=1x)和P(Y=0x)的值，将实例x分到概率值大的那一类。

(三)逻辑斯谛回归的学习策略

极大似然估计，只是一种概率论在统计学的应用，它是参数估计的方法之一。说的是已知某个随机样本满足某种概率分布，但是其中具体的参数不清楚，参数估计就是通过若干次试验，观察其结果，利用结果推出参数的大概值。极大似然估计是建立在这样的思想上：已知某个参数能使这个样本出现的概率最大，我们当然不会再去选择其他小概率的样本，所以干脆就把这个参数作为估计的真实值。极大似然估计只是一种粗略的数学期望。求极大似然函数估计值的一般步骤：

（1） 写出似然函数；

（2） 对似然函数取对数，并整理；

（3） 求导数 ；

（4） 解似然方程 。

因此，逻辑斯谛回归的策略为：利用求解极大似然原理对模型进行参数估计

1. 假设：

2.似然函数为：

3. 对数似然函数为：

对L(w)求极大值，得到w估计值。因此，问题就变成了以对数似然函数为目标函数的最优化问题。

(四)逻辑斯谛回归的算法

通常采用梯度下降法和拟牛顿法进行求解（注：截止目前还未对最优化求解的算法进行深入剖析，留待后续专题讲解）