《统计学习方法》极简笔记P6：逻辑回归算法推导

逻辑回归模型

Logistic分布 分布函数

密度函数

逻辑回归模型

比较上述两个条件概率值，将实例x分到概率大的那一类 记

则，逻辑回归模型如下

另：事件发生概率为p，则该事件的几率(odds)为p/(1-p)，对数几率为logit(p)=log(p/1-p) 所以

即，逻辑回归模型中，Y=1的对数几率是x的线性函数

逻辑回归模型参数估计

极大似然估计法 设：

似然函数为

对数似然函数为

对于L(w)求极大值，得w的估计值

多项逻辑回归模型