机器学习笔记——Logistic回归算法

参考：

吴恩达 机器学习

关于分类问题的例子：

垃圾邮件分类问题

分类网上交易

对肿瘤的分析辨别预测

logistic回归又称logistic回归分析，是一种广义的线性回归分析模型，常用于数据挖掘，疾病自动诊断，经济预测等领域。

基本思想：

1.寻找合适的假设函数，即分类函数，用以预测输入数据的判断结果；构造代价函数，即损失函数，用以表2.示预测的输出结果与训练数据的实际类别之间的偏差；

3.最小化代价函数，从而获取最优的模型参数。

假设函数（分类函数）修改得到： h_θ （x）=g（θ^T x）

其中函数g为

其中g函数是Sigmoid函数或者是逻辑函数。

Sigmoid函数图像：

从图像观察可以得到g（z）函数的值一直都在0~1之间，所以就可以推断得出h（x）的值也一定是在0~1之间。

所以假设函数和逻辑函数结合就得到：

h_θ （x）=g（θ^T x）=1/(1+e^(-θ^T X) )

关于肿瘤预测问题的例子：

课程截图

决策界限

假设我们有一个训练集如图：（假设我们都已经拟合了这些数据θ=-311）

线性边界：

课程截图：线性边界

非线性边界：

课程截图：非线性边界

决策边界不是训练集的属性，而是假设本身及其参数的属性。

只要给定了参数向量θ，对应的图像也会随之确定。

hθ(x)函数的值表示结果取1的概率，因此对于输入x分类结果为类别1和类别0的概率分别为【概率公式】：

代价函数：

代价函数

其中：

代价函数

当y=1的时候：

当y=1时

当y=0的时候：

当y=0时

等价于：

代入代价函数，得：

课程截图

其中的Cost函数和J函数都是基于最大似然估计法推导得到的。【关于最大似然估计法后续笔记会详细提到】

为了能够拟合函数，我们要找出让J函数取得最小值的参数θ，最小化代价函数的方法，是使用梯度下降法。

如果说想要获得代价函数J的最小值，重复θ的更新过程：

θ_j=θ_j-α ∂/(∂θ_j ) T（θ），J=0，1，2……n 其中α是学习步长

求偏导得：

推导步骤

最后得过程可以改写为：

多元分类：一对多

原理：

假如我们由一个训练集（如图），包含着三个类别：三角形表示y=1，正方形表示y=2，叉表示y=3

通常得解决方式就是：将这个训练集转化为三个独立得二元分类问题。

课程截图