OpenAI开课了！深度强化学习最全课程包，教程、代码、习题、文档一网打尽

大数据文摘出品

作者：魏子敏、蒋宝尚

继谷歌和微软的人工智能实践课程后，Elon Musk和Sam Altman主导创立的OpenAI刚刚也发布了一门教学+练手的全能课程“Spinning Up in Deep RL”，希望将他们最擅长的技术——深度强化学习能力分享出来，让更多技术人掌握。

先上课程地址

OpenAI地址：

https://spinningup.openai.com/en/latest/index.html

GitHub地址：

https://github.com/openai/spinningup/blob/master/docs/user/running.rst

强化学习是目前最流行的教机器人玩游戏的方法之一，也是在复杂场景下，人工智能进行决策的重要技术。

简单来解释下强化学习，假设你交给机器人一个任务，比如拾取金币，强化学习会在机器人完成任务时给予适当的奖励。这样机器人下一次执行任务时，就更愿意采取“正确”行动。在经历数百次、数千次，甚至数百万次的尝试之后，机器就能逐渐学习到完成任务时所需的策略。

OpenAI人工智能研究实验室一直通过强化学习技术训练机器人玩游戏，也一直是这一技术的全球引领者。昨天，OpenAI发博客宣布了深度强化学习教学资源集的正式发布。“Spinning Up in Deep RL”项目内含教程、清晰的RL代码示例、课程习题、文档等同步学习资料，称旨在让任何人学习成为深度强化学习的熟练实践者。

在DEEP RL中迈出第一步

在博客中，OpenAI强调了深度强化学习的重要性，虽然市面上有非常多的资源帮助人们快速学习这些知识。但是深入下去还是会遇到非常多的困难。OpenAI发布的Spinning Up能够帮助人们学习使用这些人工智能技术并培养对人工智能的直觉。

据悉，这个项目的设计灵感，来自于和OpenAI学者和研究员计划的合作。OpenAI观察到，机器学习非常小白的玩家，如果在一开始能够获得正确的指导和资源，就会在短时间大幅度提升他的专业能力。

Spinning Up in Deep RL 还能够为一些跨学科的领域提供帮助，例如人工智能安全，不光需要强化学习，还需要其他学科技能的辅助。

OpenAI认为，了解RL算法最好的方法是在代码中运行一遍，通过借助Spinning Up，代码编写变得会更加简单：

代码示例：python -m spinup.run ppo --env CartPole-v1 --exp_name hello_world

Spinning Up实现了与Classic Control，Box2D或MuJoCo任务套件中的Gym环境兼容。OpenAI还为新手设计了Spinning Up的代码。简洁，友好，易于学习的设计使得小白更容易上手。OpenAI目标是避免通常存在于深度RL库中的抽象和混淆层。并且对代码进行了注释，以便编程者更加了解所使用的代码。

Spinning Up in Deep RL项目 主要由以下几部分组成：

RL术语，各种算法和基本理论的简短介绍。

一篇关于如何成长为RL研究员的文章。

按主题分类的重要论文的精选清单。

详细记录了关键算法的文档、使用其可以独立实现代码，包括： Vanilla Policy Gradient (VPG), Trust Region Policy Optimization (TRPO), Proximal Policy Optimization (PPO), Deep Deterministic Policy Gradient (DDPG), Twin Delayed DDPG (TD3), and Soft Actor-Critic (SAC).

当然，为了实践需要，还有一些必不可少的练习。

OpenAI开启全球教育计划

OpenAI也通过这一项目宣告了一个全球教育计划的开启，“Spinning Up in Deep RL只是OpenAI新教育计划的一部分，在一定程度上是对OpenAI愿景的延伸：创建一个全球的社区，共同应对AGI的挑战。OpenAI希望利用这个项目帮助迅速推进安全且广泛有益的人工智能。

2019年2月2日，在旧金山OpenA将会I举办一场关于Spinning Up in Deep RL的研讨会。研讨会将包括3小时的讲座和5小时的半结构化黑客攻击，项目开发和分组会议，研讨会期间OpenAI技术人员全程指导。

奉上工作坊报名链接，旧金山的读者可以顺路一看哦：

https://docs.google.com/forms/d/e/1FAIpQLSdWbG3H3JYC2Vp-bC1yeP1SL_DSi6laLNjW1RjvEEzlA1V6rg/viewform

OpenAI也欢迎更多人参与这一教育项目，并开放了相关工作职位

https://openai.com/jobs/

OpenAI称还将与其他组织合作，帮助他们开展教育计划，包括加州大学伯克利分校的人类兼容人工智能中心（CHAI）。

最后，附上这一课程项目的完整内容表

【今日机器学习概念】

Have a Great Definition