专栏首页新智元谷歌大脑:使用强化学习,从头生成神经网络架构(论文)

谷歌大脑:使用强化学习,从头生成神经网络架构(论文)

【新智元导读】深度学习的成功,使业内范式开始从特征设计转向架构设计。Google Brain 研究人员使用强化学习,从头开始生成神经网络架构。【论文地址:https://arxiv.org/pdf/1611.01578v1.pdf

摘要

作为一种强大而灵活的模型,神经网络在处理图像,语音,与语言习得方面收效良好。尽管当下已实现相关进展,但神经网络的设计仍然是研究的难题。本文采用递归神经网络对神经网络进行描述,并对递归神经网络进行强化学习训练,从而使基于验证集所生成的结构精确度实现最大化。基于CIFAR-10数据集,我们重新设计了一个新型网络结构。从试验集精确度方面来说,该结构与当前最优人工网络结构不相上下。该CIFAR-10模型的误差率为3.84,该结果与现有研究成果只相差0.1%,并且从速度上说,相比现有成果,速度上提升了1.2倍。

基于宾州树库数据集,我们的模型由一种新型的递归神经元构成,该神经元优于应用最为广泛的短期记忆神经元和其他现有的技术基线。在测试集上宾州树库语言模型的困惑度为62.4,相比于目前的技术成果,该困惑度值相对降低3.6。

引言

过去的几年,我们见证了深度神经网络在很多方面的应用都非常具有挑战性,如语音认知(Hinton等人,2012),图像识别 (Lecun等人,1998,Krizhevsky等人,2012),与机器翻译(Sutskever等人,2014;Bahdanau等人,2015;吴等人,2016),随着从特征设计到结构设计的范式转变的完成,从SIFT (Lowe,1999) 到HOG(Dalal与Triggs,2005),到AlexNet(Krizhevsky等人,2012),再到VGGNet (Simonyan与Zisserman,2014) 与GoogleNet(何等人,2016),虽然问题变得容易些,但是结构设计仍然需要大量的专业知识与投入时间

神经网络搜索示意图(图上关键词上右下左依次为)样品模型A与可能性P、训练儿童神经网络A来获取精确度R、计算P的梯度并以精确度R定义范围来更新控制器、控制器(递归神经网络)

本文展开对神经结构搜索的研究,并用梯度法来探索更好的结构(见图1),基于观察,我们发现,神经网络的结构与连通性能被定为典型的可变长度的字符串。因此,我们能够利用递归神经网络作为控制器来生成字符串从而建立一个神经网络。通过训练该神经网络,也称为"儿童神经网络",基于真实的数据可以获得验证集的精确度作为奖励信号,我们可以通过计算策略梯度来更新控制器。反复训练的结果就是利用控制器建立神经网络的可能性更大从而获得更高的精确度。也就是说,控制器将学会如何在反复训练中学会提高其搜索能力。

实验表明,神经搜索网络能够重新设计良好模型,该突破在于用其他方法不能实现,却在本实验中达成。用CIFAR-10进行图像识别,神经网络搜索发现一种新的Convnet模型,该模型优于大部分的人工神经网络。CIFAR-10模型的测试集误差率为3.84,速度上较现有最优模型提升了1.2倍。我们利用宾州数库建立语言模型,从而神经网络能设计出一种新的递归神经元,而该神经元也优于现有的递归神经网络和短期记忆网络。我们发现模型所设计的神经元所达到的测试集上宾州数库语言模型的困惑度为62.4。相比于目前的技术成果,该困惑度值相对降低3.6。

方法

接下来的章节,我们将首先描述一种简单的方法,利用递归网络结构生成卷积网络结构。我们将阐明如何利用策略梯度法训练递归神经网络,从而使神经网络样品的准确性实现最大化。在我们的核心方法中有几处提升,如形成跳跃联系来提高模型的复杂度,采用参数服务器加快训练速度。在本章节的最后一部分,我们的研究重点在于生成递归网络结构,这是本文的另一个要点。

图上关键词从左至右为:滤层数目,滤层高度,滤层宽度,步幅高度,步幅宽度,滤层数目,滤层高度...

图2:图示所研究的递归神经网络控制器如何对简单的卷积神经网络进行采样。该控制器可预测滤层高度,滤层宽度,步幅高度与步幅宽度与层次结构中滤层的数目并进行重复预测。每次预测都由 softmax 分类器执行,且预测结果作为下一步的输入参与预测。

第一层关键词从左至右依次为:参数服务器1,参数服务器2,参数服务器3;第二层关键词:控制器复制品1,控制器复制品2,控制器复制品3;第三层(蓝色,三个控制器下)均为:儿童复制品1,2,....m.

图3:神经网络搜索分布式训练。我们采用一系列S参数服务器用于存储与发送参数到K控制器复制品。然后每个控制器复制品对m神经网络进行取样,并行运行多个儿童模型。记录每个儿童模型的精度来计算关于θc的梯度,然后将结果发回至参数服务器。

N-1跳跃联系(框内关键词从左至右依次为)滤层数目、锚点、滤层高度、滤层宽度、步幅高度、步幅宽度、锚点、滤层数目、滤层高度

图4:控制器采用锚点与设定-选择注意形成跳跃联系

论文地址:https://arxiv.org/pdf/1611.01578v1.pdf

本文分享自微信公众号 - 新智元(AI_era)

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2016-12-05

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 【干货】二值神经网络:让 AlphaGo 能在手腕运行

    赢得围棋人机大战的AlphaGo为了运行神经网络,用了280块GPU,功率超过一百个李世石[1]。 这种使用浮点计算的神经网络要求的大存储空间和大计算量,严重阻...

    新智元
  • 微软的这项新技术证明,深度学习还能更“深入”

    ? 计算机视觉已经是日常生活的一部分。借助这种技术,Facebook可以识别你上传到社交网络的照片上的人物;Google Photo能够自动在收藏行列中找出...

    新智元
  • 【神经网络为什么过拟合?】理解深度学习需要重新思考“记忆”

    【新智元导读】之前 Bengio 等人在 ICLR-17 提出了“理解深度学习需要重新思考泛化”这一观点,相关论文也被选为 ICLR-17 的最佳论文之一。这一...

    新智元
  • 【干货】二值神经网络:让 AlphaGo 能在手腕运行

    赢得围棋人机大战的AlphaGo为了运行神经网络,用了280块GPU,功率超过一百个李世石[1]。 这种使用浮点计算的神经网络要求的大存储空间和大计算量,严重阻...

    新智元
  • 结课 | 谷歌大脑深度学习从入门到精通视频课程[10.14]:自然语言处理——训练循环练神经网络

    今天,AI100 推送的是 Hugo Larochelle 教授的深度学习系列课程的最后一节课。至此,本课程将告一段落。感谢大家两个多月以来的一路相伴。让我们...

    AI科技大本营
  • 深度学习不只是“Import Tensorflow”(上)

    如今,像Pytorch和TensorFlow这样的工具使得人工智能的开发变得如此简单,以至于许多该领域的新手甚至都懒得去学习神经网络是如何工作的。

    AiTechYun
  • 从受限的代码执行到任意代码执行

    看到信安之路发了一篇关于某 CMS 的审计,之前对这个 CMS 也算是有一点了解吧,看到里面的一处 RCE 提起了我一点兴趣,于是有了下文。

    信安之路
  • 适合初学者学习的神经网络:流行类型和应用

    目前,神经网络被用于解决许多商业问题,如销售预测、客户研究、数据验证和风险管理。更进一步讲,我们能够使用神经网络进行时间序列预测、数据中的异常检测和自然语言理解...

    AiTechYun
  • Entity Framework Repository模式

    如果我们用最原始的EF进行设计对每个实体类的“C(增加)、R(读取)、U(修改)、D(删除)”这四个操作。

    aehyok
  • 盘点金融领域里常用的深度学习模型

    在今天我们发布的这篇文章中,作者 Sonam Srivastava 介绍了金融中的三种深度学习用例及这些模型优劣的证据。 我们跟随 Sonam Srivasta...

    小莹莹

扫码关注云+社区

领取腾讯云代金券