入门级攻略:机器学习 VS. 深度学习

导读

本文以浅显易懂的语言介绍了机器学习和深度学习的定义及应用,以及在源数据要求,硬件支持,特征工程、问题解决方式、执行时间及可解释性等方面的区别,对于新手入门有很大启示意义。

楔子

机器学习和深度学习现在很火,你会发现突然间很多人都在谈论它们。如下图所示,机器学习和深度学习的趋势对比(来自Google trend,纵轴表示搜索热度):

本文将会以简单易懂的语言及示例为大家详细解释深度学习和机器学习的区别,并介绍相关用途。

机器学习和深度学习简介

机器学习

Tom Mitchell 关于机器学习的定义被广泛引用,如下所示:

对于某类任务T和性能度量P,如果一个计算机程序在T上以P衡量的性能随着经验E而不断自我完善,那么我们称这个计算机程序在从经验E学习。

“A computer program is said to learn from experience E with respect to some class of tasks T and performance measure P if its performance at tasks in T, as measured by P, improves with experience E ”

上面的抽象定义可能使你感到困惑,相信下面几个简单的示例会让你恍然大悟。

【例1 根据身高预测体重】

假设你要创建一个根据人的身高预测体重的系统。第一步是收集数据,收集完之后画出数据分布图如下所示。图中的每个点都代表一条数据,横坐标表示身高,纵坐标表示体重。

我们可以画一条简单的直线来根据身高预测体重,比如:

Weight (in kg) = Height (in cm) – 100

如果这条直线预测身高很准确,那怎样来衡量它的性能呢?比如以预测值和真实值之间的差值来衡量预测模型的性能。当然,源数据越多,模型效果就越好。如果效果不好,那么可以使用其他方法来提升模型性能,如增加变量(如性别)或者改变预测直线。

【例2 风暴预测系统】

假定要构建一个风暴预测系统,你手头上有过去发生的风暴数据以及这些风暴发生前三个月的天气数据。那么怎样构建一个风暴预测系统呢?

首先要做的是清洗数据并找到数据中的隐藏模式,比如导致风暴产生的条件。我们可以对一些条件建模,比如温度是否大于40摄氏度,湿度是否介于80到100之间,然后将这些特征输入模型。

你要做的就是充分利用历史数据,然后预测是否会产生风暴。在这个例子中,评价的指标是正确预测风暴发生的次数。我们可以重复预测过程多次,然后将性能结果返回系统。

回到最初机器学习的定义,我们将风暴预测系统定义如下:任务T是找到造成风暴的大气条件,性能P是在模型参数学习好之后,正确预测的次数,经验E是系统的迭代过程。

深度学习

深度学习其实很早之前就出现了,随着近几年的炒作,又逐渐火起来了。

深度学习是一种特殊的机器学习,它将现实世界表示为嵌套的层次概念体系(由较简单概念间的联系定义复杂概念,从一般抽象概括到高级抽象表示),从而获得强大的性能与灵活性。

Deep learning is a particular kind of machine learning that achieves great power and flexibility by learning to represent the world as nested hierarchy of concepts, with each concept defined in relation to simpler concepts, and more abstract representations computed in terms of less abstract ones.

【例1 图形检测】

假设我们要将矩形和其他图形区别开。人眼首先是检测这个图形是否有4条边(简单概念)。如果有4条边,在检测它们是否相连,闭合且垂直,以及是否相等(嵌套层次概念)。事实上,我们将一个复杂的任务(矩形识别)分解成一些简单低抽象层次的任务。深度学习本质上是在更大的范围内做这件事。

【例2 猫还是狗】

这个案例是构建一个能够识别图片中动物是猫或者狗的系统。

如果使用机器学习解决这个问题,首先要定义一些特征,比如该动物是否有胡须、耳朵;如果有耳朵,那么耳朵是否是尖的。简单地说,我们要定义面部特征,然后让系统识别出在动物分类中哪些是重要特征。而深度学习会一次性完成这些任务,深度学习会自动找到对分类任务重要的特征,而机器学习不得不人工指定。

深入学习工作流程如下:

1. 首先在图片中找到和猫或者狗最相关的边界;

2. 然后找到形状和边界的组合,如是否能找到胡须和耳朵;

3. 在复杂概念的连续分层识别后,就能够确定哪些特征对识别猫狗起重要作用。

机器学习和深度学习的对比

数据依赖

深度学习和传统机器学习最重要的区别是它的性能随着数据量的增加而增强。如果数据很少,深度学习算法性能并不好,这是因为深度学习算法需要大量数据才能很好理解其中蕴含的模式。这种情况下,使用人工指定规则的传统机器学习占据上风。如下图所示:

硬件支持

深度学习算法严重依赖于高端机,而传统机器学习在低端机上就可以运行。因为深度学习需要进行大量矩阵乘法操作,而GPU可以有效优化这些操作,所以GPU成为其中必不可少的一部分。

特征工程

特征工程将领域知识输入特征提取器,降低数据复杂度,使数据中的模式对学习算法更加明显,得到更优秀的结果。从时间和专业性方面讲,这个过程开销很高。机器学习中,大部分使用的特征都是由专家指定或根据先验知识确定每个数据域和数据类型。比如,特征可以是像素值,形状,纹理,位置,方向。大多数机器学习方法的性能依赖于识别和抽取这些特征的准确度。

深度学习算法试图从数据中学习高层特征,这是深度学习与众不同的一部分,同时也是超越传统机器学习的重要一步。深度学习将每个问题归结为开发新特征提取器,如卷积神经网络在底层学习如边和直线种种低层特征,然后是面部部分特征,最后是人脸的高层特征。

问题解决方案

当使用传统机器学习方法解决问题时,经常采取化整为零,分别解决,再合并结果求解的策略。而深度学习主张end-to-end模型,输入训练数据,直接输出最终结果,让网络自己学习如何提取关键特征。

比如说你要进行目标检测,需要识别出目标的类别并指出在图中的位置。

典型机器学习方法将这个问题分为两步:目标检测与目标识别。首先,使用边框检测技术,如grabcut,扫描全图找到所有可能的对象,对这些对象使用目标识别算法,如HOG/SVM,识别出相关物体。

深度学习方法按照end-to-end方式处理这个问题,比如YOLO net通过卷积神经网络,就能够实现目标的定位与识别。也就是原始图像输入到卷积神经网络中,直接输出图像中目标的位置和类别。

执行时间

通常,深度学习需要很长时间训练,因为深度学习中很多参数都需要远超正常水平的时间训练。ResNet大概需要两周时间从零开始完成训练,而机器学习只需要从几秒到几小时不等的训练时间。测试所需要的时间就完全相反,深度学习算法运行需要很少的时间。然而,和KNN(K近邻,一种机器学习算法)相比,测试时间会随着测试数据量的增加而增加。不过并非所有的机器学习算法都需要很长时间,某些也只需要很少的测试时间。

可解释性

假定使用深度学习给文章自动评分,你会发现性能会很不错,并且接近人类评分水准。但它不能解释为什么给出这样的分数。在运行过程中,你可以发现深度神经网络的哪些节点被激活,但你不知道这些神经元是对什么进行建模以及这每层在干什么,所以无法解释结果。

另一方面,机器学习算法如决策树按照规则明确解释每一步做出选择的原因,因此像决策树和线性/逻辑斯蒂回归这类算法由于可解释性良好,在工业界应用很广泛。

机器学习和深度学习应用场景

Wiki上面介绍了一些机器学习的应用领域:

1. 计算机视觉:如车牌号识别,人脸识别;

2. 信息检索:如搜索引擎,文本检索,图像检索;

3. 营销:自动邮件营销,目标识别;

4. 医疗诊断:癌症诊断,异常检测;

5. 自然语言处理:语义分析,照片标记;

6. 在线广告,等等。

下图总结了机器学习的应用领域,总的来说应用范围十分广泛。

谷歌是业内有名的使用机器学习/深度学习的公司,如下图所示,谷歌将深度学习应用到不同的产品。

即时测试

为了评估你是否真正理解了机器学习和深度学习的区别,这里将会有一个快速测试,可以在这里提交答案。你要做的就是分别使用机器学习和深度学习解决下面的问题,并决定哪个方法更好。

【场景1】 假设你要开发一个无人驾驶汽车系统,该系统以相机拍摄的原始数据作为输入,然后预测方向盘转动的方向及角度。

【场景2】给定一个人的信用凭证和背景信息,评估是否可以给他发放贷款。

【场景3】创建一个将俄语文本翻译为印度语的系统。

未来趋势

前面总结了机器学习和深度学习的区别,本节对二者未来趋势:

1. 鉴于工业界使用数据科学和机器学习呈增加的趋势,在业务中使用机器学习对那些想要生存下来的公司变得越发重要。同时,了解更多的基础知识也十分有必要。

2. 深度学习给人越来越多的惊喜,将来也会一直是这样。深度学习被证明是已有技术中最先进的最好的技术之一。

3. 深度学习和机器学习和研究还在继续,不像以前那样在学术界发展受限。目前机器学习和深度学习在工业界和学术界呈爆炸式发展。并且受到比以前更多的基金支持,很有可能成为人类发展的关键点之一。

尾声

本文将深度学习和机器学习进行了详细对比,希望能够激励大家去学到更多知识。请参考

机器学习路线图:https://www.analyticsvidhya.com/learning-path-learn-machine-learning/

深度学习路线图:https://www.analyticsvidhya.com/learning-path-learn-machine-learning/

关注我就是关注数据的一切!

END

版权声明:

转载文章均来自公开网络,仅供学习使用,不会用于任何商业用途,如果出处有误或侵犯到原作者权益,请与我们联系删除或授权事宜,联系邮箱:holly0801@163.com。转载大数据公众号文章请注明原文链接和作者,否则产生的任何版权纠纷与大数据无关。

原文发布于微信公众号 - 大数据(hzdashuju)

原文发表时间:2017-05-17

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏人工智能头条

机器学习温和指南

1484
来自专栏数据科学与人工智能

【机器学习】机器学习温和指南

摘要:机器学习与NLP专家、MonkeyLearn联合创始人&CEO Raúl Garreta面向初学者大体概括使用机器学习过程中的重要概念,应用程序和挑战,旨...

2305
来自专栏书山有路勤为径

机器学习策略(2)

假设正在调试猫分类器,然后取得了90%准确率,相当于10%的误差,这离希望的目标还很远。看了算法分类错误的例子,注意到算法将一些狗分类成猫。所以这里考虑是否做 ...

932
来自专栏深度学习自然语言处理

学界 | NLP年度盛宴EMNLP/CoNLL 2018最精彩论文精选(摘要+评论)

每年,全球最顶尖的NLP研究者们会在这两个大会上展示最前沿的NLP科研成果。然而,动辄上千篇的论文却令很多关注NLP领域最新动态的小伙伴望而却步。

1342
来自专栏AI研习社

CVPR 2018摘要:第四部分

我们已经分三期关于CVPR 2018(计算机视觉和模式识别)会议:第一部分专门讨论计算机视觉的GAN,第二部分涉及关于识别人类(姿势估计和跟踪)的论文,第三部分...

752
来自专栏AI科技评论

终于盼来了Hinton的Capsule新论文,它能开启深度神经网络的新时代吗?

AI 科技评论按:眼见“深度学习教父”Geoffrey Hinton在许多场合谈到过自己正在攻关的“Capsule”之后,现在我们终于等到了这篇论文,得以具体感...

29710
来自专栏数据科学与人工智能

【原理】机器学习偏差与方差

小编邀请您,先思考: 1 为什么KNN算法在增大k时,偏差会变大? 2 RF增大树的数目时偏差却保持不变,GBDT在增大树的数目时偏差却又能变小? 在机器学习的...

36311
来自专栏专知

一文讲述CNN与视觉系统的爱恨情仇,15个关键问答集锦

3482
来自专栏ATYUN订阅号

迁移学习:如何在自然语言处理和计算机视觉中应用?

在这篇文章中,我将讨论两个关于迁移学习的应用:NLP(自然语言处理)和CV(计算机视觉)。并且我会分别在这两个领域提供一个范例。 NLP 现在很多NLP管道都在...

4887
来自专栏量子位

OpenAI最新成果:无监督情绪神经元(水军面临失业威胁……)

李林、舒石 编译自 OpenAI官方博客 量子位出品 | 公众号 QbitAI OpenAI公布了一项最新成果:一个无监督的系统,很好的学会了表征感情。尽管这个...

33910

扫码关注云+社区

领取腾讯云代金券