这个高仿真框架AI2-THOR,想让让强化学习快速走进现实世界

AlphaGo的节节胜利,向人们展示了强化学习的强大能力。但要是想让这种方法作用于现实世界,指挥机器人完成开门、拿东西、放东西等等对人类来说轻而易举的任务,还需要解决一个问题:

一个强化学习模型要经历多次试错过程才能收敛,可是让它在现实世界中一次一次地试错显然有些不切实际。

为了填平这道虚拟和现实世界中的鸿沟,一个名叫AI2-THOR的新框架产生了。

AI2-THOR是由艾伦人工智能研究所(AI2)、斯坦福大学、卡耐基梅隆大学、华盛顿大学、南加州大学合作完成的。它为人工智能Agent提供了一个室内装修效果图画风的世界,高度仿真,Agent可以和里面的各种家具家电交互——比如说打开冰箱、推倒椅子、把电脑放在桌子上等等。

为了让Agent与场景的交互尽可能接近真实,AI2-THOR除了包含表面上能看到的高质量3D场景之外,背后还有Unity 3D引擎,能让其中的物体遵循现实世界的物理规则来运动,也就是让交互动作尽可能真实。

另外,AI2-THOR还提供Python API。

与同类框架相比,Agent可以操作场景中的物体,是AI2-THOR的一大亮点。它的真实性和对物理规则的整合,也是很少有框架具备的。

在提出这个框架的同时,这些研究人员还为了提高强化学习模型对新目标的泛化能力,提出了一个以当前状态和目标的函数为策略的演员-评论家模型。

这二者结合起来,达到了比最先进的深度强化学习方法更快的收敛速度,还能够泛化到各种目标和场景。

在模拟场景中训练的模型在经过少量微调后,甚至能泛化到真实的机器人活动场景。另外,他们的模型可以端到端地训练,不需要特征工程、图像之间的特征匹配和环境的3D重建。

项目主页:

开源代码:

https://github.com/allenai/ai2thor

相关论文:

Visual Semantic Planning using Deep Successor Representations

Yuke Zhu, Daniel Gordon, Eric Kolve, Dieter Fox, Li Fei-Fei, Abhinav Gupta, Roozbeh Mottaghi, Ali Farhadi · ICCV 2017

https://arxiv.org/pdf/1705.08080.pdf

Target-driven visual navigation in indoor scenes using deep reinforcement learning

Yuke Zhu, Roozbeh Mottaghi, Eric Kolve, Joseph Lim, Abhinav Gupta, Fei-Fei Li, and Ali Farhadi · ICRA 2017

http://ai2-website.s3.amazonaws.com/publications/target_driven_visual.pdf

  • 发表于:
  • 原文链接:http://kuaibao.qq.com/s/20171216G0ACMR00?refer=cp_1026

同媒体快讯

相关快讯

扫码关注云+社区