线性回归模型简单,对于一些线性可分的场景还是简单易用的。Logistic逻辑回归也可以看成线性回归的变种,虽然名字带回归二字但实际上他主要用来二分类,区别于线性回归直接拟合目标值,Logistic逻辑回归拟合的是正类和负类的对数几率。
假设有一个二分类问题,输出为y∈{0,1}
定义sigmoid函数:
用sigmoid函数的输出是0,1之间,用来拟合y=1的概率,其函数R语言画图如下:
logistic逻辑回归可以拟合因变量为1的概率,最终分类的时候,我们可以一个阈值,比如0.5,大于阈值的都分为正类,向量化公式如下:
还可以换一种方式理解logistic逻辑回归,他是用多元线性函数去拟合因变量为正例与反例的比值的自然对数,推导如下:
使用iris数据集
将数据分为训练数据和测试数据
R语言使用批量梯度下降法迭代求解
输出后,可以看到拟合完全正确,因为本文只是为了推导一下逻辑回归的算法,所以直接用全部数据拟合,没有再抽出一部分做测试数据。
更多精彩文章 http://h2cloud.org/