机器学习100天-Day1503训练模型-逻辑回归

说明：本文依据《Sklearn 与 TensorFlow 机器学习实用指南》完成，所有版权和解释权均归作者和翻译成员所有，我只是搬运和做注解。

第四章是对模型训练内部工作流程的了解，帮助炼丹师们找到恰当的学习模型、算法、数据集。

为了尽量简单（懒），在这里默认已经了解线性回归、多项式回归、损失函数、梯度下降

1. 简单的线性回归模型，讨论两种不同训练方法的最优解

封闭方程求根运算，得到模型在当前训练集上的最优解。

迭代优化（梯度下降GD），调整模型参数获取最小损失函数。批量梯度下降、随机梯度下降、小批量梯度下降。

2. 多项式回归，用来拟合非线性数据集

介绍正则方式减少过拟合的出现

3. 介绍Logistic回归

4. 介绍Softmax回归

3. 介绍逻辑回归

逻辑回归用于估计实例属于某个类别的概率，其实就是二分类器。

概率估计

逻辑回归模型计算输入的特征加权总和，再输入logistic函数进行处理后输出。生成一个逻辑方法图示，根据逻辑回归模型的输出值预测y

\sigma(t) = \frac}

训练和损失函数

训练是为了得到θ使正例概率增大，负例概率减小，可以通过单个训练实例X的损失函数实现。

逻辑回归损失函数（对数损失）

OK，得到这个损失函数之后如何求解？

无解的，因为没有等价的正态方程，但是这个损失函数是凸函数，可以通过求偏导数优化获取全局最小值。

决策边界

在这里使用iris数据库来分析逻辑回归。

iris中有三种Setosa，Versicolor，Virginica，可以建立一个分类器，通过花瓣宽度特征来识别Virginica。

1.加载数据

可以看到data项目中有四种字段[5.1, 3.5, 1.4, 0.2]，这里只获取data中第三列数据。

对y数据进行处理，将label转为虚拟变量，这部分在机器学习Day3（https://www.toutiao.com/i6635207113838690820/） 中有介绍。

2.训练模型

3.评估模型

评估模型，设定花瓣宽度从0到3厘米

4.确定决策边界

Virginica 花的花瓣宽度在1.4厘米到2.5厘米之间，而其他种类的花通常具有较小的花瓣宽度，范围从0.1厘米到1.8厘米。因此，分类器在发现2厘米以上时会给出高概率值，在1厘米以下时会给出低概率值，基于上图，进一步绘制决策边界来观察。可以发现1.6厘米时一个决策边界。当数值大于1.6的时候判定为是，小于1.6是判定为否。

下来教程引入两个特征来进行预测。图很骚啊，这段代码要好好看