吴恩达《机器学习》-Logistic分类

Logistic分类应用于二分类问题，即给定特征

X

，

y

为0或者1.

模型假设

hθ

(x)=g(

θT

x)

z=

θT

x

g(z)=

11+

e−z

g(z)

函数如下：

hθ

(x)

取值范围是

(,1)

，其含义为

y=1

的概率，即

hθ

(x)=P(y=1|x,θ)=1−P(y=|x,θ)

.

决策边界

上面提到

hθ

(x)

表示y = 1的概率，当其大于0.5时，我们可以预测y = 1，当其小于0.5时，我们可以预测y = 0，对于等于0.5的情况，我们可以约定 y = 1。那么由上图可知，当

θT

x>=

时，

y=1;

当

θT

x

时，

y=;

对于线性的情况

θT

x=

θ

+

θ1

x1

+

θ2

x2

可以得到如下所示的决策边界：

对于非线性情况

θT

x=

θ

+

θ1

x1

+

θ2

x2

+

θ3

x21

+

θ4

x22

可以得到如下所示的决策边界：

对于更复杂的情况，可以通过

θT

x

的复杂的多项式来实现。

Logistic分类的目标就是找到决策边界。

误差函数

梯度下降法

使用梯度下降法对误差函数最小化求解

优化算法

比如共轭梯度法什么的，吴老师都认为超纲了，还是让专业的搞数值算法的人去弄吧，我们需要的是知道怎么调用接口。

多分类

logistic分类可用于二分类，通过1-vs-all方法，即针对每一个类别，将训练集分为此类和非此类两类，进而使用logistic进行分类，共得到k个分类器（假设有k类），对于任意输入，将其输入该k个分类器，而后选择概率最高的那个。

softmax

等待填坑ing…

过拟合

使用了过多的特征，是的误差函数在训练集上很小，但是对于新的实例泛化能力较差。正则化可用于克服过拟合问题，实现方法是在误差函数的基础上加上

λ

倍的

θ

的2范数或者1范数（不含

θ

）

sklearn logistic