动态 | 从零开始快速入门深度强化学习,OpenAI 发布学习资源 Spinning Up

AI 科技评论编者按:日前,OpenAI 发布了深度强化学习教育资源 Spinning Up,内容包括易懂的深度强化学习代码示例、习题、文档和教程。据 OpenAI 发布的博客称,零基础的深度强化学习「小白」通过自学 Spinning Up,也能快速掌握这一技能,甚至成为该领域的从业者。AI 科技评论对该博文进行编译如下:

OpenAI 发布的深度强化学习教育资源 Spinning Up,旨在让所有人学完后,都能成为一位熟练掌握深度强化学习技能的从业者。 Spinning Up 包含了易懂的深度强化学习代码示例、习题、文档和教程。

专为深度强化学习的学习设计

OpenAI 认为深度学习——尤其是深度强化学习——将在强大的 AI 技术发展中发挥核心作用。虽然现在有很多可用的资源能让人们快速提升深度学习技能,但是深度强化学习的掌握会更具挑战性。对此,OpenAI 设计了 Spinning Up 这套课程来帮助人们学会使用这些技术,并培养对于这些技术的认知。

OpenAI 开发 Spinning Up 的灵感来源于与其学者和研究员合作的工作,在此过程中,他们发现,如果得到正确的指导和资源,在机器学习方面的经验很少甚至没有经验的人也能够快速提升为这一领域的从业者。深度强化学习的这份 Spinning Up 资源正是考虑到这种需求所开发的,它已被整合到了 2019 年学者和研究员团队的课程(https://blog.openai.com/openai-scholars-2019/)中。

OpenAI 还发现,掌握强化学习的技能能够帮助人们参与到跨学科研究领域中,例如 AI 安全,该领域就涉及到强化学习和其他技能的结合。此外,还有很多人向 OpenAI 寻求从零开始学习强化学习的指导,因而他们决定将所给出的这些非正式建议体系化。

深度强化学习 Spinning Up 包括以下核心内容:

  • 强化学习术语、各类算法以及基本理论的简介;
  • 一篇关于怎样成长为一名强化学习研究者的总结;
  • 一份按照主题排列的重点论文列表;
  • 一份完善记录各类强化学习算法简介以及单独实现方式的代码文档,这些算法包括:原始的策略梯度(VPG)、信任区域策略优化(TRPO)、近端策略优化(PPO)、深度确定策略梯度(DDPG)等;
  • 一些热身练习题。

提供长期支持

针对这个项目,OpenAI 有以下支持计划:

高带宽软件支持期:发布后的前三周,OpenAI 将快速处理 bug 修复、安装等问题,以及解决文档中的错误和歧义,并努力简化用户体验,让他们尽可以简单地使用 Spinning Up 自学。

2019 年 4 月的主要核查: 发布 Spinning Up 约六个月后,OpenAI 将基于从社区收到的反馈,认真核查软件包的状态,并公布未来的改进方案。

内部开发的公开发布: OpenAI 如果在与学者和研究员共事时,对深度强化学习中的 Spinning Up 进行了修改,会将修改发送到公开报告中,并立即向所有人开放。

OpenAI 教育

深度强化学习的 Spinning Up 是 OpenAI 新教育倡议的一部分,在这里,他们正「spinning up』地来保证实现《OpenAI 章程》的宗旨之一:「寻找创建一个让全球社区进行协作的方法,从而解决 AGI 的全球化挑战。」他们希望 Spinning Up 可以让更多人熟悉深度强化学习,并以此来推动安全、广泛受益的人工智能的前进。

2019 年 2 月 2 日,他们将在 OpenAI 旧金山分部举办一个深度强化学习 Spinning Up 研修班,包括 3 小时的课程讲解和 5 小时的半结构化开源、项目开发和分组会议——整场会议全部由 OpenAI 技术人员进行支持。我们希望参会者有软件工程经验,并要求他们有学习过机器学习但没有正式的机器学习经验。感兴趣的读者可以填报申请表(https://docs.google.com/forms/d/e/1FAIpQLSdWbG3H3JYC2Vp-bC1yeP1SL_DSi6laLNjW1RjvEEzlA1V6rg/viewform)报名。

合作伙伴

OpenAI 还将与其它组织进行合作,来指导人们学会使用这些资源。他们的第一个合作伙伴是加州大学伯克利分校的 Center for Human-Compatible AI (CHAI),二者将在 2019 年初合作举办一个关于深度 RL 的研修班,类似于计划在 OpenAI 举办的 Spinning Up 研修班。

Hello World

了解深度强化学习算法表现如何的最好方法,就是运行它们。而有了 Spinning Up,这就变得像下面这段代码一样简单:

python -m spinup.run ppo --env CartPole-v1 --exp_name hello_world

在训练的最后阶段,你将获得关于如何从实验中查看数据以及观看受过训练的智能体视频的指导。

Spinning Up 的执行可与 Classic Control、Box2D 和 MuJoCo 任务套件中的 Gym 环境兼容。

另外,考虑到新入门者,OpenAI 为 Spinning Up 设计代码的思路是,使其尽可能地更短、更友好,以及更易于学习。OpenAI 的目标是,用最少的执行步骤来演示理论如何变成代码,规避深度强化学习库中常见的抽象层和模糊层。相比于提高代码可重用性的模块化设计,OpenAI 更看重代码的清晰易读,代码重用仅限于日志记录和并行化工具。Spinning Up 提供的代码都带有注释,这样使用者总是能够明白现在进行到了哪里,并在相应的阅读文档页面上得到背景材料(和伪代码)的支持。

Via:https://blog.openai.com/spinning-up-in-deep-rl/ ,AI 科技评论编译

原文发布于微信公众号 - AI科技评论(aitechtalk)

原文发表时间:2018-11-10

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏新智元

【盘点】掌握机器学习的5条必由之路(附学习资料推荐)

【新智元导读】作者在本文提出一种5步入门并应用机器学习的方法。它不是传统的方法。传统的机器学习方法提倡从下往上学,先从理论和数学开始,然后是算法实现,最后让你去...

42510
来自专栏iOSDevLog

《 Python 机器学习基础教程》总结

学完了本书介绍的所有强大的方法,你现在可能很想马上行动,开始用你最喜欢的算法来解决数据相关的问题。但这通常并不是开始分析的好方法。机器学习算法通常只是更大的数据...

1117
来自专栏PPV课数据科学社区

【学习】数据挖掘的方法有哪些?

利用数据挖掘进行数据分析常用的方法主要有分类、回归分析、聚类、关联规则、特征、变化和偏差分析、Web页挖掘等, 它们分别从不同的角度对数据进行挖掘。 1、分类 ...

2939
来自专栏一名叫大蕉的程序员

Machine Learning最小可迭代产品No.75

报告各位首长,我参与的第二个项目顺利上线啦~ 棒棒,又一次感觉自己做的东西是有价值的,这个项目是一个平台类产品,专注于提高线下零售的实施效率,希望后面的迭代会越...

2038
来自专栏华章科技

独家 | 一文读懂推荐系统知识体系(附学习资料)

推荐系统就是根据用户的历史行为、社交关系、兴趣点、所处上下文环境等信息去判断用户当前需要或感兴趣的物品/服务的一类应用。

4536
来自专栏PPV课数据科学社区

“数据说谎”常见的3类形态

日常生活工作中,处处都会与数据打交道,但你知道数据是会“说谎”的,即你看到的数据结果并不是事实。本文介绍一些常见的说谎场景以及如何避免。 第一种图表欺骗 图表通...

2785
来自专栏人工智能头条

DeepText:Facebook的文本解析引擎

2092
来自专栏ATYUN订阅号

Deepmind:让AI学会在没有地图的城市中导航

AiTechYun 编辑:nanan 在你童年时你是如何学会去朋友家、学校或者小卖部的?也许你不需要地图,只是简单地记住沿途街道的外观和转弯处就行。随着你逐渐探...

3507
来自专栏计算机视觉战队

人工智能在《LOL&王者荣耀》游戏中的角色

近期LOL和王者荣耀游戏已经充斥着真个朋友圈,但是谁又知道在火热的游戏进行中,又有一批批IT男在完成另一项重要的任务,那就是利用深度学习的知识去完成游戏直播的智...

1586
来自专栏ATYUN订阅号

【业界】MIT新研发的芯片将神经网络功耗降低95%

近日,麻省理工学院(MIT)的工程师们设计了一种芯片,这种芯片能将神经网络计算的速度提高3到7倍,同时还能将耗电量降低94-95%。这大大减少了在芯片存储器和处...

2866

扫码关注云+社区