每天十分钟机器学习之十七:逻辑回归之代价函数

上几讲从逻辑回归的引出到应用都做了详细讲解,回顾一下并仔细体会以下知识点:

(1)逻辑回归是解决分类问题的,对于对于给定的x,通过已经确定的参数计算sigmoid函数值得出hθ(x),hθ(x)可以理解成一个概率值,一般大于0.5认为是正向类,小于0.5是负向类;

(2)通过对判定边界的理解,只要能构造出不同的边界函数就可以应用逻辑回归进行分类,关键是边界函数的构造,不同的边界函数分类标准也不一样;

(3)逻辑回归可以解决多分类问题,实质就是拆分成多个二分类问题。

本讲是针对逻辑回归的最后一讲,就是如何构造代价函数进行参数求解,因为这是逻辑回归最终要面临的问题。

对于线性回归模型,我们用误差的平方和来定义代价函数。理论上来说,我们也可以对逻辑回归模型沿用这个定义,但是问题在于,当我们将带入到这样定义了的代价函数中时,我们得到的代价函数将是一个非凸函数,这意味着我们的代价函数有许多局部最小值,这将影响梯度下降算法寻找全局最小值。

这里注意一下,一般机器学习里的代价函数都要想办法转化为凸函数,因为只有凸函数才有全局最优解,至于原因请大家看一下凸函数的相关资料。

线性回归的代价函数为:

我们重新定义逻辑回归的代价函数为:

其中

这里沿用神经网络里的交叉熵的方法,为什么要这样构造,大家可以查一下交叉熵的相关方法。

带入代价函数得到:

得到代价函数后,我们便可以用梯度下降算法来求得能使代价函数最小的参数了。算法为:

求导后得到:

祝您的机器学习之旅愉快!

本文参考资料:斯坦福吴恩达老师的机器学习讲义,图片直接来自讲义;

  • 发表于:
  • 原文链接https://kuaibao.qq.com/s/20181203G18LL700?refer=cp_1026
  • 腾讯「云+社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。
  • 如有侵权,请联系 yunjia_community@tencent.com 删除。

扫码关注云+社区

领取腾讯云代金券