英伟达的“千人摩擦计划”:几千个智能体互相玩耍,学习跑酷更轻松

摩擦栗 发自 凹非寺 量子位 出品

如果,模拟器里只有一个强化学习智能体,它可能活得很自在。

天大地大,虚拟机器人做个空翻、回旋踢之类,都不是稀有的技能,只是需要艰苦训练罢了。

那么,要是让几千个人形智能体,一起在模拟器里跑呢?

它们就会相互摩擦,亲昵地扭打在一起,形成一幅不可开交的美妙图景。

这不是重点,关键是智能体在摩擦的过程中,学起技能来,会比孤独的时候快很多

英伟达就想用这种方法来加速学习,于是开发了自己的物理模拟器。

在那里,人类跑步的姿势,智能体不用20分钟便可解锁。且只要一个CPU核心,不要成百上千。

相互摩擦,是最美的

英伟达开发的是一个GPU加速模拟器,支持千百只人形智能体,在同一个世界愉快地互动。

并且,只要一个Tesla V100 GPU,加上一个CPU核,就够了。

为了智能体更好地学习人类技能,团队为四种技能设定了Benchmark,由易而难:

一是,只用两条腿、但是像蚂蚁那样跑步 (不是说好的人类技能啊) :

二是,依然用两条腿、但像人类那样跑步:

三是障碍跑,遇到球球会站不稳,重点是重新找到平衡,不要摔倒:

四也是障碍跑,不过地形复杂,还是要在站不稳的时候努力保持平衡:

在复杂地形下训练过的智能体,会拥有随机应变的能力。

即便是在从未见过的环境里,从超过一人高的平台跳下也能迅速站稳,继续奔跑。

放进现实里,大概就是这个样子:

一个顶一千个?

现在,来和前辈们对比一下时间硬件成本:

一个CPU核心,抵得上一千个?

是有了GPU加持之后,模拟器每秒可以生成6万帧,帧时间 (Frame Time) 能降到0.02毫秒以下。也就是说,帧延迟小到几乎可以忽略。

那么,就算智能体的数量从5个增加到5,000个,也不会有什么压力。

由此,即便只用一个CPU核心,学习效率也可以得到保障。

这项研究,是在英伟达的物理引擎FleX里面完成的。

很快,团队就要在CoRL 2018大会上,介绍研究成果了。

在那之前,大家可以欣赏一下论文:

GPU-Accelerated Robotic Simulation for Distributed Reinforcement Learning https://arxiv.org/pdf/1810.05762.pdf

原文发布于微信公众号 - 量子位(QbitAI)

原文发表时间:2018-11-05

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏机器之心

学界 | 上海交大金贤敏团队实现最大规模光量子计算芯片:模拟量子计算翻开新篇章

2324
来自专栏AI科技评论

业界 | 福布斯评出最热门的 10 大 AI 技术,以及面临的问题

AI科技评论按:Narrative Science 调查显示,去年已有 38% 的企业开始使用人工智能,而到 2018 年将增长至 62%。Forrester ...

3204
来自专栏数据派THU

【独家】医疗大数据革命背后的数学模型(讲座视频+PPT)

作者:赵小文 整理:黄菀 校正:谢俊卿,安柯 本文字数为6718字,建议阅读15分钟 本文从全新的视角,阐释了数学模型在医学大数据革命中的重要作用。 导读 本文...

3448
来自专栏AI研习社

英伟达深度学习学院(DLI)现场教你如何实操深度学习,作为 AI 开发者的你不来看看?

作为一名 AI 技术从业者,你是否经常遇到这样的问题: 好不容易搞懂了一种 AI 算法,代码也写好了,结果 CPU 算力吃紧,跑不起来; 好不容易入门了一种开源...

3955
来自专栏PPV课数据科学社区

周一经典 | 如何成为一名数据科学家?

如何成为一名数据科学家? 文 | 谢科 "Data Science = statistics who uses python and lives in San ...

3665
来自专栏华章科技

大数据:更多的数据还是更好的算法?

我知道很多人自始至终都认为数据是越多越好,Google甚至直言:更多的数据胜过更好的算法,而过去很多侦探剧中崇尚“信息越多,就越靠近真相”的刑侦金句也似乎佐证这...

690
来自专栏机器之心

前沿 | 面向光量子计算:MIT新研究实现室温下单光子非线性

选自MIT News 作者:Larry Hardesty 机器之心编译 参与:Smith、李泽南、吴攀 看起来,MIT 最近在光计算上取得了不少的成果。前两天,...

3586
来自专栏人工智能头条

泥沙龙笔记:parsing 是引擎的核武器,再论NLP与搜索

1517
来自专栏机器之心

深度 | 斯坦福大学李飞飞等人谈AI医疗:病床边的计算机视觉

选自新英格兰医学杂志 作者:Serena Yeung、N. Lance Downing、Li Fei-Fei、Arnold Milstein 机器之心经授权编译...

3439
来自专栏量子位

田渊栋教你读paper的正确姿势

作者:田渊栋 Facebook|人工智能研究所 量子位 已获授权编辑发布 转载请联系原作者 作为入行数年的专业科研从业者,你每周看几篇论文? 这是一个知乎上的问...

3537

扫码关注云+社区

领取腾讯云代金券