AI：可做虚拟家务了？

欢迎关注我们，中国生物智能创新联盟公号

今后能让机器人全权代理人类的家务工作？麻省理工 (MIT) 和多伦多大学的研究人员，建立起了名为VirturalHome的家庭环境模拟器，化为人形的智能体可以在里面学习大量的生活技能。

VirtualHome由三个部分组成。

一是家务知识库，里面包含了人类在家庭生活里会经历的各种活动。教AI做事情，如让它看电视，坐到沙发上、拿起遥控器，走进厨房，拿起杯子之类。

二是3D模拟器，里面有6个公寓，以及4个人物可以选择，可以生成各种家务活动的视频。

三是脚本生成模型，训练神经网络的各项家务技能。

目标：让AI在自然语言和视频的指引之下，自己写出程序来做好家务。

1 数据搜集

要训练出一只可靠的家务AI，首先就是搜集各种家务活动的数据

第一，让一群临时工 (AMT worker) 来提供任务的口头描述一项日常家庭活动，如“做咖啡”，然后描述它的分解步骤。活动按起始场景分类，于是就有8种，客厅、厨房、餐厅、卧室、儿童房、浴室、玄关、书房。每个场景都包含了350个物体。

第二，用图形编程语言，把这些描述翻译成程序，当然也需要详细的步骤 (每一步都是一个block) ，而且要比描述的还要全面——要让 (目前还不存在的) 机器人能够贯彻落实。数据集就这样建好了，里面充满了大大小小的任务所对应的程序。

2 动画化

把数据集里的程序变成动画，首先要看房间里的哪个物体才是要操作的对象，同时生成合理的动作。系统需要把一个任务的所有步骤都看过一遍，然后规划一条合理的路径。如执行一项“打开电脑然后敲键盘”的任务，比较理想的流程是，开机之后就在离目标电脑最近的键盘上操作就可以了，不用再确定哪一个才是目标键盘。

程序：每个任务都是由大量原子动作(Atomic Actions) 组成，把它们全部动画化是个不小的工程。这里用到了12种最常见的动作：走/跑、抓取、按键开/关、(物理) 打开/关闭、放置、望向、坐下/站起，以及触摸。每种动作的执行方式不唯一，如开冰箱和开抽屉，姿势就不一样了。团队用Unity引擎里的NavMesh来导航；用RootMotion FinalIK反向动力学包，把每个动作动画化。另外，跟人物发生交互的物体，也要发生相应的动作。让程序里的任务显现成动画，要先在程序中的物体、和模拟器场景中的物体之间建立映射。然后，为程序里的每一步，计算人物和目标物体的相对位置，以及计算其他与动画化相关的数字。

记录：模拟器的每个房间，有6-9枚摄像头，每个公寓平均下来26枚。并非每时每刻，都需要所有摄像头，系统根据人物所在的位置来决定启用哪些摄像头。记录下来的视频，下一步可以给神经网络，训练它生成自己的程序。

3 用视频和自然语言生成程序，给AI一段视频，或者一段自然语言，让它自动生成相应的家务执行程序，做一只有觉悟的AI。

团队调整了seq2seq模型，来适应这个任务，然后用强化学习来训练它。这里的模型，是由两只RNN组成的，一只给输入序列编码，另一只负责解码。神经网络每次可以生成一项家务中的一个步骤。给文本编码，用的是word2vec。处理视频的话，就把每条视频拆成许多个2秒长的片段，然后用模型来预测中间帧的样子。这里用到了DilatedNet，还用到了Temporal Relation Netork。

学习和推断

过程分为两步。第一步，用交叉熵损失(Cross Entropy Loss) 对解码器做预训练。第二步，强化学习登场，智能体要学习一下策略(Policy) ，用来生成程序里面的步骤。

模拟器里很幸福：数据集的质量如何？动画化的效果怎样？系统生成的程序又能不能指向希望的任务呢？

看电视的任务做得很流畅，他还会找个舒服的姿势坐下来，很悠然。团队也觉得，从生成的视频来看，各种任务的完成度还是不错的。下一步，就要给AI真实拍摄的视频了，毕竟模拟器里发生的一切，和物理世界还是不一样的。

是太幸福了吧？

毕竟，模拟器里的家庭环境一成不变，东西都摆在它该在的地方，也没有小朋友跑来跑去。在机器人接手任务之前，AI可能还需要在更加难以预测的模拟环境里，训练很长时间。另外，就算环境变化不是问题，真实的家务操作也并不像捡个装备那么简单，且容错率非常低。

如，端一杯咖啡不可以只有90%的准确度，95%也不太行。因为，百分之一的差错，会造成百分之百的灾难。不过，作为一个日常手抖的操作渣，我端咖啡也没那么安全，从某种程度上说，还是很有潜力成为机器人女仆的重度用户。

VirtualHome: Simulating Household Activities via Programs

http://virtual-home.org/paper/virtualhome.pdf

感谢您抽出·来阅读此文