英伟达的“千人摩擦计划”：几千个智能体互相玩耍，学习跑酷更轻松

摩擦栗 发自 凹非寺 量子位 出品

如果，模拟器里只有一个强化学习智能体，它可能活得很自在。

天大地大，虚拟机器人做个空翻、回旋踢之类，都不是稀有的技能，只是需要艰苦训练罢了。

那么，要是让几千个人形智能体，一起在模拟器里跑呢？

它们就会相互摩擦，亲昵地扭打在一起，形成一幅不可开交的美妙图景。

这不是重点，关键是智能体在摩擦的过程中，学起技能来，会比孤独的时候快很多。

英伟达就想用这种方法来加速学习，于是开发了自己的物理模拟器。

在那里，人类跑步的姿势，智能体不用20分钟便可解锁。且只要一个CPU核心，不要成百上千。

相互摩擦，是最美的

英伟达开发的是一个GPU加速模拟器，支持千百只人形智能体，在同一个世界愉快地互动。

并且，只要一个Tesla V100 GPU，加上一个CPU核，就够了。

为了智能体更好地学习人类技能，团队为四种技能设定了Benchmark，由易而难：

一是，只用两条腿、但是像蚂蚁那样跑步 (不是说好的人类技能啊) ：

二是，依然用两条腿、但像人类那样跑步：

三是障碍跑，遇到球球会站不稳，重点是重新找到平衡，不要摔倒：

四也是障碍跑，不过地形复杂，还是要在站不稳的时候努力保持平衡：

在复杂地形下训练过的智能体，会拥有随机应变的能力。

即便是在从未见过的环境里，从超过一人高的平台跳下也能迅速站稳，继续奔跑。

放进现实里，大概就是这个样子：

一个顶一千个？

现在，来和前辈们对比一下时间和硬件成本：

一个CPU核心，抵得上一千个？

是有了GPU加持之后，模拟器每秒可以生成6万帧，帧时间 (Frame Time) 能降到0.02毫秒以下。也就是说，帧延迟小到几乎可以忽略。

那么，就算智能体的数量从5个增加到5,000个，也不会有什么压力。

由此，即便只用一个CPU核心，学习效率也可以得到保障。

这项研究，是在英伟达的物理引擎FleX里面完成的。

很快，团队就要在CoRL 2018大会上，介绍研究成果了。

在那之前，大家可以欣赏一下论文：

GPU-Accelerated Robotic Simulation for Distributed Reinforcement Learning https://arxiv.org/pdf/1810.05762.pdf

— 完 —