逻辑回归 logistic regression 算法原理及优化

概述

逻辑回归也叫对数几率回归 “逻辑回归”虽然叫回归，但是却是一种分类方法，跟线性回归(linear regression)有着显著的不同。

• 优点：无需事先假设数据分布，可以避免假设分布不准确带来的问题；不是预测出类别，而是给出近似概率；对率函数是任意阶可导的凸函数，有很好的数学性质。
• 缺点：

算法推导

关于代价函数采用-log()的解释

出发点：假设样本的分类为1(y=1)，我们希望当预测的结果越接近1，损失越小，预测结果越接近0，损失越大。考虑到函数 y=log(x)当log的底数大于1的函数图像：

将其倒转并取x值为(0,1]可得：

这样的函数就很好的契合了我们的目标，即越接近0值越大，越接近1值越小。 当样本分类为0(y=0)时也是一样的道理将x换成1-x即可。