机器学习笔记3：逻辑回归

这篇笔记整理下逻辑回归(logisitic regression)的相关知识点。

逻辑回归，是用来处理二分类问题的一种数学模型。逻辑回归的输出值为离散值0或者1。逻辑回归与线性回归的相似之处，是两者都是寻找合适的参数构成的直线（下图中的红线）。不同之处在于，逻辑回归中，该直线作为边界将数据集分为两类，直线上方为1，下方为0（或者相反）。线性回归中，需要使得数据集尽量靠近该直线。

与线性回归相比，逻辑回归其需要将线性回归产生的概率预测值z转换为0或者1。z (z=theta*x)需要通过Sigmoid函数映射为0和1。Sigmoid函数的定义如下，

可以看出，当z>=0时，g(z)>=0.5, 此时认为y=1, 当z<0时，g(z)<0.5, 此时认为y=0.

逻辑回归的数学模型为，

其代价函数定义为，

需要找到一组theta值，使得J(theta)取极小值。使用梯度下降法，对应的计算过程为，

对于更复杂的曲线，可以采用正则化逻辑回归的方案。例如，下图中分类曲线不是一条直线，

此时，可以在特征中引入新的特征值，例如x1*x2这些交叉项，

此时，代价函数需要引入新的项，用来避免过拟合(overfitting)的问题。