【导读】前一段时间,专知内容组推出了春节充电系列:李宏毅2017机器学习课程学习笔记,反响热烈,由此可见,大家对人工智能、机器学习的系列课程非常感兴趣,近期,专知内容组推出吴恩达老师的机器学习课程笔记系列,重温机器学习经典课程,希望大家会喜欢。
【重温经典】吴恩达机器学习课程学习笔记一:监督学习
【重温经典】吴恩达机器学习课程学习笔记二:无监督学习(unsupervised learning)
【重温经典】吴恩达机器学习课程学习笔记三:监督学习模型以及代价函数的介绍
【重温经典】吴恩达机器学习课程学习笔记四:梯度下降
【重温经典】吴恩达机器学习课程学习笔记五:多元梯度下降
【重温经典】吴恩达机器学习课程学习笔记六:特征处理与多项式拟合
【重温经典】吴恩达机器学习课程学习笔记七:Logistic回归
吴恩达机器学习课程系列视频链接:
http://study.163.com/course/courseMain.htm?courseId=1004570029
春节充电系列:李宏毅2017机器学习课程学习全部笔记
吴恩达课程学习笔记八:Logistic回归续
1、代价函数形式的简化
对于上一篇总结中所提的代价函数,它是一个分段函数的形式,现在将它改用一个函数表达(如下图蓝色书写的部分)。至于验证非常简单,将y=1与y=0分别带入求解,验证是否与分段函数表述的一致。
2、梯度下降
如下图所示,根据上述总结,得到了logistic回归的代价函数,现在的目的是如何求解当J(θ)取得函数值最小时对应的θ值
如下图所示,这里对θ的更新过程给出详细的推导:
则可知\Theta 的更新为
,可以看出这里的更新过程与之前线性回归的更新过程完全一样,两者的不同在于
的函数形式,一个为
,一个为
3、多类别分类:一对多
假设我们有如下所示的分类问题:
1、 将邮件分类为工作的、朋友的、家庭的、兴趣的
2、 病症分类为没有生病、感冒、流感
3、 天气情况分类为晴天、多云、下雨天、下雪天
我们可以看到上述问题都是多类问题,已经不再是简单的二分类问题。
在前面的总结中,已经介绍了logistic回归算法去处理二分类问题,其实多分类问题可以看做是几个二分类问题。假设我们有如下图的数据集,即有三种类别,那么我们可以通过构造三个假设函数
来完成分类问题。即
是把class1当做正类,其余两类当做负类,算出一组θ值,同理
与,算出另外两组θ值。这样就完成了三个二分类假设函数的构造。
在进行预测时,将输入x带入到三个假设函数中,计算出的表示数据属于三个类的概率。选出最大的h值所对应的类别,即为数据x最有可能归属的类别。
参考链接:
http://study.163.com/course/courseMain.htm?courseId=1004570029
-END-