OpenAI开发的分级强化学习算法旨在解决高级操作

我们已经开发了一种分层强化学习算法,它学习用于解决一组任务的高级操作,可以快速解决需要数千个时间步长的任务。我们的算法应用于一组导航问题时,会发现一组用于在不同方向上进行走路和爬行的高级动作,这使智能体能够快速掌握新的导航任务。

视频一:http://imgcdn.atyun.com/2017/10/videoplayback-5.mp4

人类解决复杂挑战的方法是将它分解成很多小的易于控制的部分。例如,煎饼由一系列高层次的行动组成,如和面,加蛋,入锅等。人类能够通过对这些已经学会的部分进行排序来快速学习新的任务,即使这个任务可能需要数百万个的低级动作,如肌肉收缩等。

另一方面,现在的强化学习方法是通过对低级别行动的暴力搜索来进行的,它需要大量的尝试来解决新的任务。当你需要处理拥有大量时间步的任务时,这种方法效率极低。

我们的解决方案是基于分成强化学习的思想,智能体将复杂的操作表示为一个高级操作的简短序列。这样我们的智能体可以解决更难的任务:尽管解决方案可能需要2000个低级别的操作,但分成策略将其转换为10个高级操作的序列,这比搜索2000步序列效率高多了。

元学习共享分层

我们的算法,元学习共享分层(MLSH)学习了主策略在一组子策略之间切换的分层策略。主策略每N个时间步长选择一个动作,我们假设N = 200。执行N个时间步的子策略构成高级动作,就我们的导航任务而言,子策略对应于不同方向的爬行。

在以前的大多数工作中,分层政策都被明确地手工设计。而我们的目标是通过与环境的交互自动发现这种分层结构。从元学习的角度来看,我们定义一个好的分层结构可以很快的在未知的任务上获得高回报。因此,MLSH算法是在学习在未知的任务中实现快速学习的子策略。

我们对任务分配进行训练,在每个抽样任务学习新的主策略时共享子策略。通过反复训练新的主策略,这个过程会自动查找适应主策略学习动态的子策略。

实验

视频二:http://imgcdn.atyun.com/2017/10/dfgh.mp4

经过一夜之后,经过训练的智能体解决了九个不同的迷宫,发现了与向上,向右和向下运动相对应的子策略,然后自己导航走出了迷宫。

在我们的AntMaze环境中,Mujoco Ant机器人被放置在9个不同的迷宫中,要求它必须独立从入口走到出口。我们的算法能够成功地找到一组不同的子策略,这些子策略可以通过与环境的交互来解决迷宫任务。然后可以使用这组子策略来完成更大的任务。

视频三:http://imgcdn.atyun.com/2017/10/tyui.mp4

在单独的迷宫环境下进行训练,可以自动学习子策略来解决任务。

  • 代码:https://github.com/openai/mlsh

原文发布于微信公众号 - ATYUN订阅号(atyun_com)

原文发表时间:2017-11-05

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏北京马哥教育

只需十四步:从零开始掌握 Python 机器学习(附资源)

分享一篇来自机器之心的文章。关于机器学习的起步,讲的还是很清楚的。原文链接在:只需十四步:从零开始掌握Python机器学习(附资源) Python 可以说是现...

3578
来自专栏数据派THU

【资源】只需十四步:从零开始掌握Python机器学习

来源:机器之心 作者:Matthew Mayo 校对:丁楠雅 编辑:胡蝶 原文可参阅:http://suo.im/KUWgl 和 http://suo.im/9...

1916
来自专栏人工智能头条

用深度学习做个艺术画家 ——模仿实现PRISMA

1204
来自专栏自然语言处理

程序员眼中的统计学3

令19名数学家惊喜的是,虽然他们所掌握的那些高深数学知识在现实生活中似乎派不上多大用场,但竟然出人意料地在赌场上显现出了巨大的威力!据悉,19名数学家参与的大多...

591
来自专栏机器学习算法与Python学习

趣味机器学习入门小项目(附教程与数据)

关键字全网搜索最新排名 【机器学习算法】:排名第一 【机器学习】:排名第一 【Python】:排名第三 【算法】:排名第四 没有任何理论可以代替实践,虽然教材和...

2754
来自专栏AI研习社

深度学习如何入门?

关于深度学习,网上的资料很多,不过貌似大部分都不太适合初学者。 这里有几个原因: 1. 深度学习确实需要一定的数学基础。如果不用深入浅出地方法讲,有些读者就会有...

3036
来自专栏机器人网

程序猿:这四种方式开启机器学习之路

学习机器学习有很多方法,大多数人选择从理论开始。 如果你是个程序员,那么你已经掌握了把问题拆分成相应组成部分及设计小项目原型的能力,这些能力能帮助你学习新的技...

2807
来自专栏机器之心

只需十四步:从零开始掌握Python机器学习(附资源)

选自kdnuggets 作者:Matthew Mayo 机器之心编译 参与:黄小天、吴攀、晏奇、蒋思源 Python 可以说是现在最流行的机器学习语言,而且你也...

30111
来自专栏机器之心

学界 | DeepMind等机构提出「图网络」:面向关系推理

该论文作者之一,DeepMind 研究科学家 Oriol Vinyals 表示,该研究的代码也将在近期公开。

1190
来自专栏专知

基于TensorFlow的机器学习速成课程25讲视频全集(16-18讲)

2652

扫码关注云+社区