DeepMind 推出分布式训练框架 IMPALA,开启智能体训练新时代

AI 研习社按,日前,DeepMind 推出一种全新的分布式智能体训练框架 IMPALA,该框架具有高度可扩展性,将学习和执行过程分开,使用了一种名为 V-trace 的离策略(off-policy)修正算法,具有显著的加速性能,极高的效率。具体如何呢,AI 研习社将其原文编译整理如下:

深度强化学习 (DeepRL) 在一系列任务中取得很显著的成果,比如机器人的连续控制问题、玩围棋和 Atari 等游戏。目前为止,我们看到的这些成果仅限于单一任务,每个任务都要单独对智能体进行调参和训练。

在我们最近的工作中,研究了在多个任务中训练单个智能体。

今天我们发布 DMLab-30,这是一组横跨很多挑战的新任务,在视觉统一的环境中,有着普通的行动空间(action space)。想训练好一个在许多任务上都有良好表现的智能体,需要大量的吞吐量,有效利用每个数据点。

为此,我们开发了一种全新的、高度可扩展的分布式智能体训练框架 IMPALA(重点加权行动-学习器框架,Importances Weighted Actor-Learner Architectures),这种框架使用了一种名为 V-trace 的离策略(off-policy)修正算法。

DMLab-30

DMLab-30 是通过开源强化学习环境 DeepMind Lab 设计的一系列新任务。有了 DMLab-30,任何深度强化学习研究人员都能够在大范围的、有趣的任务中测试系统,支持单独测试、多任务环境测试。

这些任务被设计得尽可能多样化。它们有着不同的目标,有的是学习,有的是记忆,有的则是导航。它们的视觉效果也各不相同,比如有的是色彩鲜艳、现代风格的纹理,有的是黎明、正午或夜晚的沙漠中微妙的棕色和绿色。环境设置也不同,从开阔的山区,到直角迷宫,再到开放的圆房间,这里都存在。

此外,一些环境中还有「机器人」,这些机器人会执行以目标为导向的行为。同样重要的是,任务不同,目标和奖励也会有所不同,比如遵循语言指令、使用钥匙开门、采摘蘑菇、绘制和跟踪一条复杂的不能回头的路径这些任务,最终目的和奖励都会有所不同。

但是,就行动空间和观察空间来说,任务的环境是一样的。可以在每个环境中对智能体进行训练。在 DMLab 的 GitHub(https://github.com/deepmind/lab)页面上可以找到更多关于训练环境的细节。

IMPALA::重点加权行动-学习器框架

为了在 DMLab-30 中训练那些具有挑战性的任务,我们开发了一个名为 IMPALA 的分布式智能体框架,它利用 TensorFlow 中高效的分布式框架来最大化数据吞吐量。

IMPALA 的灵感来自流行的 A3C(https://arxiv.org/abs/1602.01783)框架,后者使用多个分布式 actor 来学习智能体的参数。

在这样的模型中,每个 actor 都使用策略参数的克隆在环境中行动。actor 会周期性地暂停探索来共享梯度,这些梯度是用一个中央参数服务器来计算的,会实时更新(见下图)。

另一方面,在 IMPALA 中,不会用 actor 来计算梯度。它们只是用来收集经验,这些经验会传递给计算梯度的中央学习器,从而得到一个拥有独立 actor 和 learner 的模型。

现代计算系统有诸多优势,IMPALA 可以利用其优势,用单个 learner 或多个 learner 进行同步更新。以这种方式将学习和行动分离,有助于提高整个系统的吞吐量,因为 actor 不再需要执行诸如Batched A2C 框架中的等待学习步骤。

这使我们在环境中训练 IMPALA 时不会受到框架渲染时间的变动或任务重新启动时间的影响。

IMPALA 中的学习是连续的,不同于其他框架,每一步学习都要暂停

然而,将行动与学习分离会导致 actor 中的策略落后于 learner。为了弥补这一差异,我们引入 V-trace——条理化的离策略 actor critic 算法,它可以对 actor 落后的轨迹进行补偿。可以在我们的论文 IMPALA: Scalable Distributed Deep-RL with Importance Weighted Actor-Learner Architectures (论文地址见文末)中看到该算法的具体细节。

IMPALA 中的优化模型相对于类似智能体,能多处理 1 到 2 个数量级的经验,这使得在极具挑战的环境中进行学习成为可能。

我们将 IMPALA 与几个流行的 actor-critic 的方法进行了比较,发现它具有显著的加速效果。此外,使用 IMPALA 的情况下,随着 actor 和 learner 的增长,吞吐量几乎是按线性增长的。这表明,分布式智能体模型和 V-trace 算法都能支持极大规模的实验,支持的规模甚至可以达到上千台机器。

当在 DMLab-30 上进行测试时,与 A3C 相比,IMPALA 的数据效率提高了 10 倍,最终得分达到后者的两倍。此外,与单任务训练相比,IMPALA 在多任务环境下的训练呈正迁移趋势。

IMPALA 论文地址:

https://arxiv.org/abs/1802.01561

DMLab-30 GitHub地址:

https://github.com/deepmind/lab/tree/master/game_scripts/levels/contributed/dmlab30

via:DeepMind Blog

原文发布于微信公众号 - AI研习社(okweiwu)

原文发表时间:2018-02-09

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏机器学习算法与Python学习

致深度学习的入门者与小白的一份学习清单

关键字全网搜索最新排名 【机器学习算法】:排名第一 【机器学习】:排名第二 【Python】:排名第三 【算法】:排名第四 源 | DL4J 文末获取电子版下载...

29170
来自专栏人工智能

快速安全追踪(FaSTrack):确保动态系统的安全实时导航

实时自主运动和导航是很难的,特别是当我们关心安全性时。当我们的动力系统复杂,以及外部干扰(如风)和先验条件未知时,这变得更加困难。我们在这项工作中的目标是为了保...

29970
来自专栏玉树芝兰

如何高效入门数据科学?

说明:本文是我数据科学系列教程的导读。因为微信公众号文章一经发布,便不能大篇幅编辑内容,后续发布的新教程无法加入进来。所以我只得选择不定期更新发布本文的最新版,...

12440
来自专栏机器学习之旅

关于'Deep Neural Networks for YouTube Recommendations'的一些思考和实现

论文 Deep Neural Networks for YouTube Recommendations 来自google的YouTube团队,发表在16年9月的...

8120
来自专栏人工智能头条

4月机器学习热文出炉,这10篇文章你读了吗?

16640
来自专栏美团技术团队

智能分析最佳实践——指标逻辑树

背景 所有业务都会面对“为什么涨、为什么降、原因是什么?”这种简单粗暴又不易定位的业务问题。为了找出数据发生异动的原因,业务人员会通过使用多维查询、dashbo...

699110
来自专栏美团技术团队

美团点评联盟广告的场景化定向排序机制

前言 在美团点评的联盟广告投放系统(DSP)中,广告从召回到曝光的过程需要经历粗排、精排和竞价及反作弊等阶段。其中精排是使用CTR预估模型进行排序,由于召回的候...

651140
来自专栏ATYUN订阅号

2018年嵌入式处理器报告:神经网络加速器的崛起

人工智能和机器学习应用程序代表了嵌入式处理器的下一个重大市场机遇。然而,传统的处理解决方案并不是为了计算神经网络的工作负载,这些工作负载为许多应用程序提供了动力...

56650
来自专栏ATYUN订阅号

手势识别:使用标准2D摄像机建立一个强大的的手势识别系统

手势和语言一样,是人类交流的一种自然形式。事实上,它们可能是最自然的表达方式。进化研究表明,人类语言是从手势开始的,而不是声音。另一个证明就是婴儿在学会说话之前...

84270
来自专栏AI科技大本营的专栏

观点 | 哈哈,TensorFlow被吐槽了吧

作者 | Nico 参与 | shawn 今天,一篇吐槽TensorFlow的文章在网上刷屏,到底是怎么回事呢?来看这位作者的抱怨有没有道理。 每隔几个月,我都...

310110

扫码关注云+社区

领取腾讯云代金券