【重温经典】吴恩达机器学习课程学习笔记七:Logistic回归

【导读】前一段时间,专知内容组推出了春节充电系列:李宏毅2017机器学习课程学习笔记,反响热烈,由此可见,大家对人工智能、机器学习的系列课程非常感兴趣,近期,专知内容组推出吴恩达老师的机器学习课程笔记系列,重温机器学习经典课程,希望大家会喜欢。

【重温经典】吴恩达机器学习课程学习笔记一:监督学习

【重温经典】吴恩达机器学习课程学习笔记二:无监督学习(unsupervised learning)

【重温经典】吴恩达机器学习课程学习笔记三:监督学习模型以及代价函数的介绍

【重温经典】吴恩达机器学习课程学习笔记四:梯度下降

【重温经典】吴恩达机器学习课程学习笔记五:多元梯度下降

【重温经典】吴恩达机器学习课程学习笔记六:特征处理与多项式拟合

吴恩达机器学习课程系列视频链接

http://study.163.com/course/courseMain.htm?courseId=1004570029

春节充电系列:李宏毅2017机器学习课程学习全部笔记

吴恩达课程学习笔记七:Logistic回归

1、 Logistic回归是一种分类算法



在前面的总结里,介绍了垃圾邮件的分类,以及判断是否为恶性肿瘤的问题。这类问题有一个共同的特点,即输出或预测都可以用是或否来表示,也就是可以用离散值1和0来表示输出。

继续来看一下判断是否为恶性肿瘤的例子,假设有数据集的分布如下,可以利用线性函数来拟合。例如设置阈值为0.5,当输出值(y)大于等于0.5的时候,归类为1。在如下的数据集上结果似乎不错。

如果在数据集上在添加一个如下图最右边的点,这时拟合的线性函数就可能变成蓝色线所示,同样在阈值设置为0.5时,就会有一些点不必要的被错判。这时线性拟合显示出来它极大的缺陷。即对于分类问题,线性回归并不是一个好的算法。

还有一点需要注意,本例中的输出y只在0和1取值,但是用线性拟合,输出值可能会远大于1或远小于0。所以接下来将说明一些关于logistic回归算法的知识,它可以将输出值(预测值)的范围限制在0到1之间。

注意:虽然这里提到了回归,但是logistic是一个分类算法。

2、 假设表示



为了使输出值(预测值)的范围在0到1,对\Theta^{T}x 进行g()函数处理后作为假设函数h_{\Theta}(x) 这里的函数g()称为Sigmoid函数或logistic函数,这也是名字——logistic回归的原来。其中

,g(z)的图像如下图右半部分,在z->∞时,g(z)->1;当z->-∞时,g(z)->0,即函数值的范围为0到1。这样得到的假设函数

假设函数的意义:

由上可知假设函数的范围为0到1,很自然地想到概率。换言之,如果我们对于某一组输入,得到=0.7,即意味着该肿瘤为恶性肿瘤的概率为0.7。用数学表达为

,即h_{\Theta}(x) 为在参数\Theta 及输入x给定情况下,输出y=1的概率。

接下来介绍一下决策边界,它能很好的告诉我们Logistic回归的假设函数在计算什么。

3、 决策边界

如下图所示,当h_{\Theta}(x) 的值大于0.5时,即\Theta^{T}x 的值大于等于0时,预测输出y=1;反之预测输出y=0。

假设有如下左上方的数据集,我们通过某种方式已经求得了参数 \Theta (具体求解的方法会在后面介绍)=[-3,1,1],根据前面介绍的可知当预测y=1时,需要满足

;其中

对应于图中红色的直线,这条直线在这里就称之为决策边界。如图中所示,在决策边界的上半部分,判定为y=1,下半部分,判定为y=0。

对于如下更为复杂的数据集,同样可以利用logistic回归,但是g()函数的对象将不是简单的线性组合,而是多项式函数。假设我们通过某种方式求得参数分别为[-1,0,0,1,1],则要使预测y=1,可得

,即

,此时决策边界为

,边界外部判断为y=1,内部判断为y=0。

综上可知,给定了参数,决策边界也就确定了。

4、 代价函数



如下,有m组数据,每组数据有n个特征,输出值(类别)为0或1。该如何确定参数向量

如下,在线性回归时,曾定义代价函数如下,现在用

来简化求和符号后的表示(即

),对于单一的一组数据,则表示成

我们知道

,最终得到的J(θ)不是凸函数,即存在多个局部最优点,而使用梯度下降法要求J(θ)是凸函数。

由于上述的问题,定义logistic回归的代价函数如下:

1、 当y=1时,只有当

时,Cost=0。当

时,判断y=1的概率是1,则此时判断错误带来的代价是无穷大的,即Cost值趋向于无穷大。

2、 当y=0时与y=1类似。

后面的总结中会将单组数据的代价函数扩展到整个数据集上,对logistic回归的代价函数简化并使用梯度下降算法。

参考链接:

http://study.163.com/course/courseMain.htm?courseId=1004570029

-END-

原文发布于微信公众号 - 专知(Quan_Zhuanzhi)

原文发表时间:2018-04-13

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏张俊红

机器学习开篇

总第76篇 声明: 1、接下来的关于机器学习的专题内容都会借鉴李航老师的《统计学习方法》。 2、李航老师的书籍中把机器学习称为统计机器学习,我们在文章中简称为统...

33450
来自专栏ATYUN订阅号

谷歌:神经网络相似性如何帮助我们理解训练和泛化

为了解决任务,深度神经网络(DNN)逐步将输入数据转换为一系列复杂表征(即跨越单个神经元的激活模式)。理解这些表征非常重要,不仅是为了解释,也是为了我们可以更智...

6420
来自专栏AI派

BAT机器学习/深度学习面试300题

机器学习这么火,BAT等一线互联网大厂当然是最大的需求方,想要成为 BAT 的机器学习工程师吗,快来看看这些面试题吧。

63090
来自专栏SIGAI学习与实践平台

关于感受野的总结

感受野是卷积神经网络里面最重要的概念之一,为了更好地理解卷积神经网络结构,甚至自己设计卷积神经网络,对于感受野的理解是必备的。

1.2K20
来自专栏机器之心

深度 | 理解神经网络中的目标函数

选自Kdnuggets 作者:Lars Hulstaert 机器之心编译 参与:晏奇、李泽南 本文面向稍有经验的机器学习开发者,来自微软的 Lars Hulst...

35490
来自专栏奇点大数据

机器学习算法在自动驾驶汽车中扮演怎样的角色

随着电子控制单元传感器数据处理这项技术的继续发展,人们也越来越期待运用更优化的机器学习,来完成更多新挑战。未来的潜在应用场景包括:通过内外部传感器(包括激光雷达...

15710
来自专栏专知

【重温经典】吴恩达机器学习课程学习笔记五:特征处理与多项式拟合

【导读】前一段时间,专知内容组推出了春节充电系列:李宏毅2017机器学习课程学习笔记,反响热烈,由此可见,大家对人工智能、机器学习的系列课程非常感兴趣,近期,专...

32470
来自专栏新智元

【Bengio vs 谷歌】深度学习兄弟对决,神经网络泛化本质之争

【新智元导读】一场或许有关深度学习本质的争论正在火热进行中。去年底,MIT、DeepMind 和谷歌大脑合著的论文《理解深度学习需要重新思考泛化》引发热论。论文...

422120
来自专栏专知

\b【AAAI2018】通过动态融合方式学习多模态词表示,中科院自动化所宗成庆老师团队最新工作

【导读】基于文本来学习词的语义表示, 特别是基于共现的工作, 如Word2Vec能够很好的处理大多数任务, 然而, 这些语义表示和人的语义表示系统有很大出入. ...

41560
来自专栏编程

图文详解高斯过程(一)——含代码

作者:Alex Bridgland 编译:Bot 编者按:高斯过程(Gaussian process)是概率论和统计学中的一个重要概念,它同时也被认为是一种机器...

93970

扫码关注云+社区

领取腾讯云代金券