机器人,给我来一瓶82年的农夫山泉


新智元编译

来源:MIT

编辑:克雷格

【新智元导读】MIT计算机科学和人工智能实验室(CSAIL)和多伦多大学的研究人员开发一个虚拟家园“VirtualHome” ,不仅让虚拟机器人成功做家务,还创建了一个用自然语言描述的家庭任务数据库,将来可能有助于亚马逊的Alexa等系统执行更复杂的任务。

“机器人,给我来一瓶82年的农夫山泉。”

收到这个指令,机器人肯定一脸懵逼。

先不说82年的农夫山泉肯定找不到,更现实的问题是,即便是有一瓶现成的农夫山泉,机器人也需要人类更明确、程序化的指令才能完成这个任务,他们不能轻易推断和推理。

MIT计算机科学和人工智能实验室(CSAIL)和多伦多大学的研究人员受《模拟人生》(The Sims)启发,开发一个虚拟家园“VirtualHome” ,不仅让虚拟机器人成功地制作了咖啡、打开烤面包机、在沙发上休息,研究人员还创建了一个用自然语言描述的家庭任务数据库,将来可能有助于亚马逊的Alexa等系统执行更复杂的任务。

视频内容

VirtualHome:模拟家庭八个场景中的1000个交互

VirtualHome是一个3D环境,它允许模拟和生成活动的视频,并将它们作为动作和交互的序列。

VirtualHome基于三个主要模块:

家庭任务的知识库,包含如何执行某些公共任务的指令;VirtualHome环境,一个模拟和生成这些任务的视频的3D模拟器,以及允许从描述或视频演示生成程序的脚本生成模型

团队使用了近3000个不同活动的程序来训练这个系统,这些活动被进一步细分为计算机的子任务来理解。这是因为机器人与人类不同,它们需要更明确的指令来完成简单的任务,不能轻易地推断和推理。

例如,一个人可能会告诉另外一个人:“打开电视,在沙发上看吧。”在这句话中,像诸如“拿遥控器”和“坐/躺在沙发上”这样的动作被省略了,因为它们是人类常识的一部分。

为了更好地向机器人演示这类任务,需要更详细地描述操作。

仅看电视这个任务,就分了多个步骤

为此,研究团队首先收集了家庭活动的口头描述,然后将它们翻译成简单的代码。像“打开电视,在沙发上看吧”这样的指令可能包括以下步骤:

走到电视前,打开电视,走到沙发前,坐在沙发上,看电视。

一旦这些程序被创建,这个团队将它们输入到VirtualHome 3-D模拟器,然后将它们转换成视频,虚拟代理将执行程序定义的任务,无论这些任务是看电视、将锅放在炉子上,还是打开和关闭烤面包机。

该团队的虚拟机器人可以在VirtualHome的世界中执行1000个这样的交互,其中有八个不同的场景,包括客厅、厨房、餐厅、卧室和家庭办公室。

程序的独特之处:包含了执行活动所需的所有步骤

来看一看是具体怎么操作的。

团队收集了一个专门针对机器人的家庭活动的大型知识库,数据集包含活动以及程序的自然语言描述,以一系列步骤的形式表示活动的正式符号。这些程序的独特之处在于它们包含了执行活动所需的所有步骤。

每个任务都有一个高级名称和一个自然语言指令,然后团队为这些任务收集“程序”(下图左中),标注者(annotators)将指令“翻译”为简单的代码。

接着,团队在VirtualHome-3D模拟器中执行最频繁的(内部)操作,能够驱动代理执行由程序定义的任务。团队提出了从文本(上图顶部)和视频(上图底部)自动生成程序的方法,从而通过语言和视频演示驱动代理。

上图描述在VirtualHome中,代理根据描述执行生成的程序。注意,最上面的代理使用他的左手打开冰箱和抓取一个物品,因为他右手已经拿了一个物体。另外,代理还有一些限制,例如,在第三排,代理穿着衣服坐在马桶上。此外,有时携带的物品会由于对撞机的不精确而轻微地穿透代理的身体。

未来:机器人可能摆脱制造商编写的任务,从YouTube上也能学习

该项目由CSAIL和多伦多大学等高校的研究人员共同开发,将在本月在盐湖城举行的CVPR会议上present。

亚利桑那州立大学艺术媒体和工程系的研究助理Qiao Wang说:“这一工作将有助于未来真正的机器人个人助理,机器人都可以通过聆听或观察身边的特定人员来学习任务,而不是制造商编写的每项任务。这使得机器人可以以个性化的方式完成任务,甚至有一天可以通过这种个性化的学习过程调用情感联系。“

此外,研究的结果不仅仅是完成一个训练机器人做家务的系统,它还是一个使用自然语言描述的家庭任务的大型数据库。像亚马逊这样的公司正在努力在家里开发类似Alexa的机器人系统,最终可以使用这些数据来训练他们的模型来完成更复杂的任务。

未来,该团队希望使用实际视频来训练机器人,而不是《模拟人生》这样风格的模拟视频,这将使机器人通过观看YouTube视频来学习。该团队还致力于实施奖励学习系统,让代理在正确执行任务时得到积极的反馈。

VirtualHome地址:

http://virtual-home.org/

论文地址:

http://virtual-home.org/paper/virtualhome.pdf

原文发布于微信公众号 - 新智元(AI_era)

原文发表时间:2018-06-03

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏知晓程序

用户凭啥要用小程序?我用 FOGG 模型分析了一下

因为「优化」注定层出不穷,也导致其注定昙花一现。那么小程序是「app」形态的「优化」,还是一个和「app」完全不同的形态,是一种「颠覆」呢?

460
来自专栏CSDN技术头条

盘点开源机器人技术界的人气明星

本文介绍了一些最受用户欢迎的开源机器人技术,包括ROS,Gazebo,Poppy Humanoid,iCub及Jasmine等。 ? ROS ROS(Robot...

1958
来自专栏云计算D1net

私有云:硬件规划四大要素

要构建私有云需要考虑诸多因素,尤其是当你的预算并不宽裕的时候。通过仔细的规划硬件,容量,存储和网络配置,你就能将有限的预算做出高效的运用。 要找出云成本效益最高...

3316
来自专栏大数据挖掘DT机器学习

爬取拉勾网大数据相关岗位薪资信息存到excel,并作数据分析

今天就进入实战演练:通过Python来编写一个拉勾网薪资调查的小爬虫。 第一步:分析网站的请求过程 我们在查看拉勾网上的招聘信息的时候,搜索Python,或...

3848
来自专栏机器人网

七大工业机器人离线编程软件大PK

通常来讲,机器人编程可分为示教在线编程和离线编程。我们今天讲解的重点是离线编程,通过示教在线编程在实际应用中主要存在的问题,来说说机器人离线编程软件的优势和主流...

3106
来自专栏FreeBuf

75%安卓设备受威胁,都是高通API代码惹的祸 ?

近日,美国网络安全公司FireEye披露了一个严重的信息泄露漏洞,该漏洞是由移动芯片巨头高通公司引入到 Android系统中的。 ? 关于高通 高通 (Qual...

2037
来自专栏开源项目

有哪些微信小程序值得推荐?| 码云周刊第 71 期

1203
来自专栏ATYUN订阅号

【科技】Google利用机器学习推出了AdSense“自动广告”,以进行投放和获利选择

Google于21日公布了一项新的AdSense广告单元, 该广告单元反映了该公司在其业务中添加更多人工智能的巨大推动力,并且可能会吸引更多可能考虑加大广告投放...

3327
来自专栏飞雪无情的博客

Google Developers 中国网站发布

随着2016年的Google IO大会在北京召开,Google宣布了一系列对开发者有益的事情,最重要的莫过于Google Developers中国网站的发布,为...

784
来自专栏AI科技大本营的专栏

AI行业实践精选:创建聊天机器人各大平台的优势与局限性分析

【AI100 导读】虽然聊天机器人行业目前仍然处在起步阶段,但是其发展速度却非常快,现在也变得越来越重要。假如这些聊天机器人可以为广大用户带来便利,满足他们的期...

3348

扫码关注云+社区