DeepMind智能体自学跑酷：略显智障，结果尚好

安妮 编译整理 量子位出品 | 公众号 QbitAI

“看起来就像小学生在玩地狱边境。”

近日，谷歌DeepMind团队创造了一个自学跑酷的智能体，并且解锁了它在不同地形和障碍物下的跑酷姿势。除了画风喜感了点，训练效果看起来还是蛮好的。

△ 1分37秒处情感惊艳

简笔小人

视频中的简笔小人似乎似乎在进行一场激烈的跑酷比赛，它的身型、周围的地形以及障碍物都是变化的。小人需要自学奔跑、跳跃、蹲伏等姿势，找到从A到B的最佳穿越方式。

研究人员赋予了智能体一组虚拟传感器，传感器告诉智能体有没有走歪，并激励它前进。智能体需要根据传感器的指示自己探索和修正错误，尝试不同的通过方法。

这个智能体背后，是DeepMind团队在探索怎样将强化学习应用在教智能体适应陌生且复杂的环境。

这项研究成果也被同步发表到arXiv上，DeepMind将论文命名为《Emergence of Locomotion Behaviours in Rich Environments》，由Nicolas Heess, Dhruva TB, Srinivasan Sriram等12名DeepMind研究人员完成。

论文介绍

一般来说，强化学习（Reinforcement Learning）让智能体在奖励中直接学习复杂行为。但在通常情况下，强化学习训练的运动非常脆弱，在陌生环境中很容易崩溃，不知下一步应如何移动。

就像婴儿适应了家里的楼梯后，再把他放在电动扶梯上，他就不知如何是好了。

一般的强化学习需要研究人员仔细地设计很多特定的奖励机制。

但DeepMind研究人员仅仅给予智能体一个奖励行为，那就是前进。

他们用单一的奖励机制配合丰富的环境，让智能体学习运动。运动行为对奖励的设置非常敏感，但结果显示，智能体在各种环境中都表现良好。

也就是说，DeepMind的智能体不依赖多种奖励，而是通过丰富的环境，如地形与障碍学习复杂行为。

通过这种新奇的可扩展策略梯度增强学习变体，智能体在没有明确环境奖励引导的情况下，也可以跑步、跳跃、蹲伏和转弯。

强化学习算法

为了使智能体在这些富有挑战的环境中有效学习，必须有一个可靠的可拓展强化学习算法。因此，DeepMind用了几组方法组合完成了这项任务。

这项任务不仅需要基于强大的策略梯度算法，如信赖域策略优化（TRPO）和近似策略优化（PPO）置信区间的参数更新，来确保稳定性。

其次，还要像广泛使用得A3C算法等相关方法一样，需要在很多并行智能实例和环境上分配计算。

最后，附上论文地址：

https://arxiv.org/pdf/1707.02286.pdf