干货 | 2 分钟论文:神经网络开始自我学习,说是用了架构搜索新算法

来源 / Two Minute Papers

翻译 / 严谨文

校对 / 凡江

整理 / 雷锋字幕组

本期论文:结合分层表示的高级架构搜索

Hierarchical Representations For Efficient Architecture Search

▷ 观看论文解读

说到学习算法,为什么我们不让神经网络学习其本身的架构呢?

这个新算法正是关于架构搜索的。

到目前为止,这并不是第一个可以解决这个问题的办法。但它无疑是艺术层面上的一个显著的进步。它代表了作为有机体的神经网络结构,可以通过遗传算法编程使其进化。

两分钟论文节目之前有提到过,神经网络技术发展十分迅速,在十年前就已经解决了那些人们认为完全不可能解决的问题。当我们想利用它来解决一些问题的时候,我们需要选择正确的神经网络。问题是,我们要如何去建立正确的神经网络结构呢?

针对典型的神经网络结构,我们至少要知道在这个网络中层的种类和数量,和每一层中使用的神经元的数量。更大一些的神经网络可以通过学习解决方案来处理更加复杂一些的问题。这样一来,事情就变得很简单,只要给出尽可能大的神经网络,我们就能解决问题,并且可以期望得到最好的结果。但是,如果你真的认为答案仅是如此,那么你就太果断了。

建立更大的神经网络是要付出代价的。它们要花更长的时间训练,更糟的是,如果我们有一个过于大的神经网络,就会遇到过拟合的问题。过拟合现象是指学习算法从本质上来说是在记忆训练数据,而实际上并没有进行学习。其结果是,它的知识并不适用于它没见到过的数据。

想象一下,一名学生有着非凡的才能。他能够记下教科书里的所有内容,如果考试内容跟书本上一样,这名学生能够做的非常好,但是,即使考试内容有最细微的偏差,这名学生也将会做的非常糟糕。人们喜欢称之为死记硬背,但是这种方式跟任何一种学习方法都无法相比。一个较小的神经网络就像一名知识量较少的学生。他们更倾向于选择一种方式来完成他们的家庭作业,这种方式会完成得更好。这就是过拟合现象。它是众多现代学习算法的弊端。

使用L1、L2正则化或者dropout方法在某种程度上可以防止过拟合现象。这些方法通常有所帮助,但是没有一种方法是非常高效的。因此,虽然算法本身是学习算法,但是出于某种原因,我们必须人为设计其网络结构,正如我们讨论的一些结构,实际上他们明显优于其他的结构。我们要完成长期的反复测试以求解决结构中的错误,从而人为地找到最好的结构。

在这个图表中,水平的X轴表示进化的步骤数目,垂直的Y轴表示随着时间的推移进化后架构的性能。最后,在花了一天半时间完成了几千个进化步骤之后,此算法找到的最好的网络架构只是稍稍逊色于适合许多经典数据集的现有的最好的神经网络。

请仔细阅读本篇文章,并与最先进的神经网络和其他的架构搜索方法进行比较。这篇文章里有很多容易读懂的结果。注意,这仍然是一个初步的工作,并且在过程中需要使用数百显卡。可是,如果你知道神经网络是如何应用于AlphaGo的,它的计算成本会在一年多一点的时间里减少十倍。

学霸们请阅读论文获得更多细节:https://arxiv.org/pdf/1711.00436.pdf

原文发布于微信公众号 - AI科技评论(aitechtalk)

原文发表时间:2017-12-24

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏人工智能头条

何时不应使用深度学习?

861
来自专栏新智元

IEEE预发:DeepMind主攻的深度强化学习3大核心算法及7大挑战

【新智元导读】深度强化学习将有助于革新AI领域,它是朝向构建对视觉世界拥有更高级理解的自主系统迈出的一步。本文将涵盖深度强化学习的核心算法,包括深度Q网络、置信...

3688
来自专栏悦思悦读

让AI自动翻译“媲美人类”的“对偶学习”是怎么回事?

突破 性进展 ---- 2018年3月14日,微软研究院宣布,他们研发的中英机器翻译系统在newstest2017测试集上,达到了可与人类翻译媲美的水平。 ne...

4819
来自专栏人工智能

机器学习的基本概念

我发现,查阅和掌握机器学习基本概念的最佳方法是,回顾机器学习教科书的介绍章节,并观看典型的在线课程视频。

47410
来自专栏人工智能头条

CNN太牛!微软计算机视觉在ImageNet挑战中首超人类视觉

2244
来自专栏AI科技评论

澳门大学讲座教授陈俊龙:从深度强化学习到宽度强化学习 - 结构,算法,机遇及挑战

AI 科技评论按:2018 年 5 月 31 日-6 月 1 日,中国自动化学会在中国科学院自动化研究所成功举办第 5 期智能自动化学科前沿讲习班,主题为「深度...

1346
来自专栏CreateAMind

深度学习下一步如何发展?

来源:https://www.zhihu.com/question/47602063/answer/150845355

1131
来自专栏ATYUN订阅号

【算法】“极简主义机器学习”算法可从极小数据中分析图像

美国能源部劳伦斯伯克利国家实验室(伯克利实验室)的数学家们开发了一种新的机器学习方法,旨在实验成像数据。这种新方法不是依靠典型机器学习方法所使用的数十或数十万个...

3497
来自专栏新智元

自然语言处理终极方向:深度学习用于自然语言处理的5大优势

【新智元导读】在自然语言处理领域,深度学习的承诺是:给新模型带来更好的性能,这些新模型可能需要更多数据,但不再需要那么多的语言学专业知识。 在自然语言处理领域,...

3766
来自专栏机器学习算法与Python学习

长文 | 一文读懂什么是机器学习

关键字全网搜索最新排名 【机器学习算法】:排名第一 【机器学习】:排名第一 【Python】:排名第三 【算法】:排名第四 在进入正题前,我想大家心中可能会有一...

3605

扫码关注云+社区

领取腾讯云代金券