专栏首页AI科技评论干货 | 2 分钟论文:神经网络开始自我学习,说是用了架构搜索新算法

干货 | 2 分钟论文:神经网络开始自我学习,说是用了架构搜索新算法

来源 / Two Minute Papers

翻译 / 严谨文

校对 / 凡江

整理 / 雷锋字幕组

本期论文:结合分层表示的高级架构搜索

Hierarchical Representations For Efficient Architecture Search

▷ 观看论文解读

说到学习算法,为什么我们不让神经网络学习其本身的架构呢?

这个新算法正是关于架构搜索的。

到目前为止,这并不是第一个可以解决这个问题的办法。但它无疑是艺术层面上的一个显著的进步。它代表了作为有机体的神经网络结构,可以通过遗传算法编程使其进化。

两分钟论文节目之前有提到过,神经网络技术发展十分迅速,在十年前就已经解决了那些人们认为完全不可能解决的问题。当我们想利用它来解决一些问题的时候,我们需要选择正确的神经网络。问题是,我们要如何去建立正确的神经网络结构呢?

针对典型的神经网络结构,我们至少要知道在这个网络中层的种类和数量,和每一层中使用的神经元的数量。更大一些的神经网络可以通过学习解决方案来处理更加复杂一些的问题。这样一来,事情就变得很简单,只要给出尽可能大的神经网络,我们就能解决问题,并且可以期望得到最好的结果。但是,如果你真的认为答案仅是如此,那么你就太果断了。

建立更大的神经网络是要付出代价的。它们要花更长的时间训练,更糟的是,如果我们有一个过于大的神经网络,就会遇到过拟合的问题。过拟合现象是指学习算法从本质上来说是在记忆训练数据,而实际上并没有进行学习。其结果是,它的知识并不适用于它没见到过的数据。

想象一下,一名学生有着非凡的才能。他能够记下教科书里的所有内容,如果考试内容跟书本上一样,这名学生能够做的非常好,但是,即使考试内容有最细微的偏差,这名学生也将会做的非常糟糕。人们喜欢称之为死记硬背,但是这种方式跟任何一种学习方法都无法相比。一个较小的神经网络就像一名知识量较少的学生。他们更倾向于选择一种方式来完成他们的家庭作业,这种方式会完成得更好。这就是过拟合现象。它是众多现代学习算法的弊端。

使用L1、L2正则化或者dropout方法在某种程度上可以防止过拟合现象。这些方法通常有所帮助,但是没有一种方法是非常高效的。因此,虽然算法本身是学习算法,但是出于某种原因,我们必须人为设计其网络结构,正如我们讨论的一些结构,实际上他们明显优于其他的结构。我们要完成长期的反复测试以求解决结构中的错误,从而人为地找到最好的结构。

在这个图表中,水平的X轴表示进化的步骤数目,垂直的Y轴表示随着时间的推移进化后架构的性能。最后,在花了一天半时间完成了几千个进化步骤之后,此算法找到的最好的网络架构只是稍稍逊色于适合许多经典数据集的现有的最好的神经网络。

请仔细阅读本篇文章,并与最先进的神经网络和其他的架构搜索方法进行比较。这篇文章里有很多容易读懂的结果。注意,这仍然是一个初步的工作,并且在过程中需要使用数百显卡。可是,如果你知道神经网络是如何应用于AlphaGo的,它的计算成本会在一年多一点的时间里减少十倍。

学霸们请阅读论文获得更多细节:https://arxiv.org/pdf/1711.00436.pdf

本文分享自微信公众号 - AI科技评论(aitechtalk),作者:雷锋字幕组

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2017-12-24

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 学界 | MIT CSAIL最新研究:Network Dissection可全自动内窥神经网络活动过程

    AI科技评论按:据外媒TechCrunch最新报道,MIT CSAIL(麻省理工学院计算机科学与人工智能实验室)发明了一种可以全自动内窥神经网络活动的系统Net...

    AI科技评论
  • 微软亚洲研究院刘铁岩博士:迎接深度学习的“大”挑战

    AI科技评论按:本文根据刘铁岩博士在中国人工智能学会AIDL第二期人工智能前沿讲习班*机器学习前沿所作报告《迎接深度学习的“大”挑战》编辑整理而来,发文前已得到...

    AI科技评论
  • AI 赌神——如何教神经网络玩 21 点游戏?(附代码)

    原文标题:Teaching A Neural Net To Play Blackjack

    AI科技评论
  • 重磅!从单层感知器到深度学习以及深度学习必知的框架

    一 单层神经网络(感知器) 1.结构      下面来说明感知器模型。     在原来MP模型的“输入”位置添加神经元节点,标志其为“输入单元”。其余不变,...

    深度学习思考者
  • 第六篇:《机器学习之神经网络(一)》

    上回我们带大家使用Python实现逻辑回归来辨别一只猫的图片,大家应该隐约感觉到逻辑回归的神奇了,不免好奇为什么它可以做识别呢?这就是回归的强大能力——分类!回...

    ACM算法日常
  • 科学家利用光信息实现神经网络计算

    美国加州大学洛杉矶分校的科学家利用光信息实现了神经网络计算,相较传统电子器件,其处理速度接近光速,但准确性有所降低。

    人工智能快报
  • 神经网络和深度学习(一) ——深度学习概述

    神经网络和深度学习(一)——深度学习概述 (原创内容,转载请注明来源,谢谢) 一、监督学习与神经网络 监督学习可以在一些地方应用,包括房价预测、广告精准定位...

    用户1327360
  • 重磅! | 神经网络浅讲:从神经元到深度学习

    神经网络是一门重要的机器学习技术。它是目前最为火热的研究方向–深度学习的基础。学习神经网络不仅可以让你掌握一门强大的机器学习方法,同时也可以更好地帮助你理解深度...

    用户1332428
  • 深度学习初探——深层神经网络

    后续文章适合(基本的编程知识,熟悉Python、对机器学习有基本了解)想要尝试进入人工智能领域的计算机专业的同学准备。

    ACM算法日常
  • 零基础入门神经网络:从原理、主要类型到行业应用

    原作 Jay Shah Root 编译自 Jay Shah寄几的博客 量子位 出品 | 公众号 QbitAI 最近,神经网络这个词特别火,吸引不少眼球。但是神经...

    量子位

扫码关注云+社区

领取腾讯云代金券