开发 | 从实践角度探讨深度学习优越性

为什么深度学习(DL)比其他机器学习(ML)方法效果更好?

AI 科技评论按:近来在多个国外开发者论坛、杂志中,”深度学习的优越性”这个话题着实引发了不少讨论。对此,西班牙著名 AI 专家、Starlab 神经科学研究负责人 Aureli Soria-Frisch 发表了他的看法。

这里列举了三大原因:

  1. DL 训练过程整合了特征提取;
  2. 大型数据集的收集;
  3. 技术进步。

Aureli Soria-Frisch

Aureli Soria-Frisch:我想要指出三点原因——在我眼中,它们构成了深度学习性能优越的基石。我不是第一个讨论这个话题的人,也一定不是最后一个,但我想对该话题做一个延伸——把开发者实践中的原因加入进来。因此,如果你要找的是理论支撑,请在学术著作中寻找。在这里,我会从实践角度讨论,为什么深度学习成为了一门处理分类问题和应用的有价值技术。当然,本文不包括其所有的问题和应用。

今天,深度学习是模式识别(pattern recognition)的终极技术,就好像此前的支持向量机(SVM)和随机森林算法(Random Forests)。但基于“没有免费的午餐”这一道理,一个能高效处理所有问题的最优算法并不存在。因此雷锋网读者需谨记,本文所评估的乃是 DL 在分类任务上的效果。性能评估是机器学习应用的基础,并与深度学习的成功有直接联系,请见下文。

一、集成特征提取

深度学习之所以成功,首先是因为它训练过程中整合了特征提取

不久以前,模式识别还聚焦在分类阶段,特征提取被当做是某种程度上独立的问题。它的处理,部分基于 AI 匠人的人工操作和专家知识。因而在过去,开发者常常邀请相关领域的专家加入团队。比如说,如果你想要对 EEG 纪元进行分类,需要一名有经验的电生理学家(electrophysiologist);手写文字识别则需要笔迹分析专家。

这些专家的专业知识,被用来对特定问题中开发者感兴趣的特征做甄选。与之相比,深度学习方法不需事前创建特征:深度学习中,特征提取和分类被同时训练。比如说在图像识别中,图像过滤器或者原始参数在分类网络中的第一层进行训练。这是一个脑机交互接口社区早已提过的概念——例如对 Common Spatial Filters (CSP) 进行训练,以对每一个 BCI 用户进行相适应的特征提取。

二、大型数据集

更重要的是,深度学习胜任了许多从前无法解决的问题。这是由于它:1. 既充分鼓励了大数据集的收集;2. 又在开发过程中系统性地整合了性能评估。

雷锋网按:如同一枚硬币,这是同一个问题的正反两面。对于大数据集,用人工流程进行性能评估变得不再可行。你需要尽可能把过程自动化。自动化意味着设立交叉验证(cross-validation)阶段,以及把它整合进开发流程。

近年来各个 DL 平台以及数据分析挑战赛的普及,对大数据集和性能评估起到了非常好的支持作用。第一批挑战赛围绕着最重要的计算机视觉和模式识别会议组织。 这便是 PASCAL 和 ImageNet 挑战的情形。它们使得大型图像数据集首次被创建出来,最重要的是,它们是关联了真实标记(ground truth)的样例,可用于系统性的算法性能评估。

更重要的是,性能评估是在训练集的真实标记上进行盲测,通过调参来推高性能是不可能的。这一挑战赛概念被随后用于数据分析平台,最著名的是 Kaggle,但它不是唯一一个,还有 DrivenData、InnoCentive 等等。这些数据竞赛平台基于同样的理念:它们提供了用于训练的数据集,用于测试的“盲”数据集,再加上一个能比较不同团队完成效果的平台。对与数据科学而言,尤其是深度学习,这绝对是一个很好的刷经验场所。

三、技术进步

我想要与你分享的最后一条原因,与前两条的联系十分紧密:没有技术进步,上文中那些创新都无法实现。

内存和存储的价格下降(雷锋网注:这里关注的是长期趋势,2016-2017 的内存、SSD 价格上涨,是各方原因造成的价格反弹),使得数据集能以不断增长的规模存储下来。广为人知的摩尔定律描述了与之伴随的计算性能提高。最后,互联网技术的爆发,确凿无疑地让内存和计算性能“民主化”,更多人享受到它们带来的便利。云存储和高性能计算(HPC)使得执行架构(implemented architectures,比方说网络中相关层和节点的书目)的复杂程度以指数级增长。至少在目前,这被证明是深度学习最成功的应用路径。

via kdnuggets

原文发布于微信公众号 - AI科技评论(aitechtalk)

原文发表时间:2017-02-09

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏CreateAMind

中文简短的《神经网络与深度学习》极佳入门书-出自量子物理学家

1071
来自专栏机器人网

合格算法工程师 :须掌握这张机器学习算法知识网络图

作者 | 张相於 责编 | 何永灿 成为一名合格的开发工程师不是一件简单的事情,需要掌握从开发到调试到优化等一系列能力,这些能力中的每一项掌握起来都需要足够的努...

3659
来自专栏IT派

用一张图片告诉你 一个合格算法工程师需要掌握哪些技能

成为一名合格的开发工程师不是一件简单的事情,需要掌握从开发到调试到优化等一系列能力,这些能力中的每一项掌握起来都需要足够的努力和经验。

1290
来自专栏大数据文摘

深度丨掌握地球?智能机器带来的真正风险

1514
来自专栏技术翻译

深度学习到瓶颈期了吗?

深度学习和机器学习的进步都起到了最近AI成就了的核心作用,让计算机进行练习,通过消化和分析大量的数据,而不用明确地编程,就可以达到目的。在过去的两年里,谷歌以深...

1453
来自专栏AI科技评论

重磅丨谷歌是在炒作么?大牛详解神经网络算法为什么不适合自然语言处理

谷歌在2016年发布了全新的神经机器翻译系统(GNMT),并表示由于神经网络算法的介入,该系统相比传统机器翻译降低了80%的错误率,已接近人工翻译的水平。 但对...

3547
来自专栏机器人网

一张拆分图:机器学习算法工程师掌握哪些技能才能算合格

成为一名合格的开发工程师不是一件简单的事情,需要掌握从开发到调试到优化等一系列能力,这些能力中的每一项掌握起来都需要足够的努力和经验。

2033
来自专栏AI派

一文掌握机器学习算法工程师技术栈

成为一名合格的开发工程师不是一件简单的事情,需要掌握从开发到调试到优化等一系列能力,这些能力中的每一项掌握起来都需要足够的努力和经验。

1652
来自专栏携程技术中心

干货 | 助理来也胡一川:深度学习在智能助理中的应用

作者简介 胡一川,来也联合创始人和CTO。来也专注于智能对话技术,让每个人拥有助理。此前,胡一川联合创立了影视推荐引擎"今晚看啥"并被百度收购,后加入百度任资深...

3827
来自专栏机器学习算法与Python学习

爆料 | 解析阿里妈妈如何将深度学习应用在广告、推荐及搜索业务

2896

扫码关注云+社区