学界 | 北京大学研究者提出注意力通信模型ATOC,助力多智能体协作

作者:Jiechuan Jiang、Zongqing Lu

机器之心编译

参与:Huiyuan Zhuo、路

近日,来自北京大学的研究者在 arXiv 上发布论文,提出一种新型注意力通信模型 ATOC,使智能体在大型多智能体强化学习的部分可观测分布式环境下能够进行高效的通信,帮助智能体开发出更协调复杂的策略。

从生物学角度来看,通信与合作关系密切,并可能起源于合作。例如,长尾黑颚猴可以发出不同的声音来警示群体中的其他成员有不同的捕食者 [2]。类似地,在多智能体强化学习(multi-agent reinforcement learning,MARL)中,通信对于合作尤为重要,特别是在大量智能体协同工作的场景下,诸如自动车辆规划 [1]、智能电网控制 [20] 和多机器人控制 [14]。

深度强化学习(RL)在一系列具有挑战性的问题中取得了显著成功,如游戏 [16] [22] [8] 和机器人 [12] [11] [5]。我们可以把 MARL 看作是独立的 RL,其中每个学习器都将其他智能体看成是环境的一部分。然而,随着训练进行,其他智能体的策略是会变动的,所以从任意单个智能体的角度来看,环境变得不稳定,智能体间难以合作。此外,使用独立 RL 学习到的策略很容易与其他智能体的策略产生过拟合 [9]。

本论文研究者认为解决该问题的关键在于通信,这可以增强策略间的协调。MARL 中有一些学习通信的方法,包括 DIAL [3]、CommNet [23]、BiCNet [18] 和 master-slave [7]。然而,现有方法所采用的智能体之间共享的信息或是预定义的通信架构是有问题的。当存在大量智能体时,智能体很难从全局共享的信息中区分出有助于协同决策的有价值的信息,因此通信几乎毫无帮助甚至可能危及协同学习。此外,在实际应用中,由于接收大量信息需要大量的带宽从而引起长时间的延迟和高计算复杂度,因此所有智能体之间彼此的通信是十分昂贵的。像 master-slave [7] 这样的预定义通信架构可能有所帮助,但是它们限定特定智能体之间的通信,因而限制了潜在的合作可能性。

为了解决这些困难,本论文提出了一种名为 ATOC 的注意力通信模型,使智能体在大型 MARL 的部分可观测分布式环境下学习高效的通信。受视觉注意力循环模型的启发,研究者设计了一种注意力单元,它可以接收编码局部观测结果和某个智能体的行动意图,并决定该智能体是否要与其他智能体进行通信并在可观测区域内合作。如果智能体选择合作,则称其为发起者,它会为了协调策略选择协作者来组成一个通信组。通信组进行动态变化,仅在必要时保持不变。研究者利用双向 LSTM 单元作为信道来连接通信组内的所有智能体。LSTM 单元将内部状态(即编码局部观测结果和行动意图)作为输入并返回指导智能体进行协调策略的指令。与 CommNet 和 BiCNet 分别计算内部状态的算术平均值和加权平均值不同,LSTM 单元有选择地输出用于协作决策的重要信息,这使得智能体能够在动态通信环境中学习协调策略。

研究者将 ATOC 实现为端到端训练的 actor-critic 模型的扩展。在测试阶段,所有智能体共享策略网络、注意力单元和信道,因此 ATOC 在大量智能体的情况下具备很好的扩展性。研究者在三个场景中通过实验展示了 ATOC 的成功,分别对应于局部奖励、共享全局奖励和竞争性奖励下的智能体协作。与现有的方法相比,ATOC 智能体被证明能够开发出更协调复杂的策略,并具备更好的可扩展性(即在测试阶段添加更多智能体)。据研究者所知,这是注意力通信首次成功地应用于 MARL。

图 1:ATOC 架构。

图 2:实验场景图示:协作导航(左)、协作推球(中)、捕食者-猎物(右)。

图 3:在协作导航训练期间,ATOC 奖励与基线奖励的对比。

表 1:协作导航。

图 4:ATOC 智能体之间关于协作导航的通信可视化。最右边的图片说明在有无通信时,一组智能体采取的行动。

图 5:在协作推球训练期间,ATOC 奖励与基线奖励的对比。

表 2:协作推球。

图 6:在捕食者-猎物中,ATOC 和基线的捕食者得分的交叉对比。

ATOC 算法。

论文:Learning Attentional Communication for Multi-Agent Cooperation

论文链接:https://arxiv.org/pdf/1805.07733.pdf

摘要:通信可能是多智能体协作的一个有效途径。然而,现有方法所采用的智能体之间共享的信息或是预定义的通信架构存在问题。当存在大量智能体时,智能体很难从全局共享的信息中区分出有助于协同决策的有用信息。因此通信几乎毫无帮助甚至可能危及多智能体间的协同学习。另一方面,预定义的通信架构限定特定智能体之间的通信,因而限制了潜在的合作可能性。为了解决这些困难,本论文提出了一种注意力通信模型,它学习何时需要通信以及如何整合共享信息以进行合作决策。我们的模型给大型的多智能体协作带来了有效且高效的通信。从实验上看,我们证明了该模型在不同协作场景中的有效性,使得智能体可以开发出比现有方法更协调复杂的策略。

原文发布于微信公众号 - 机器之心(almosthuman2014)

原文发表时间:2018-05-29

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏LhWorld哥陪你聊算法

【强化学习篇】--强化学习从初识到应用

强化学习是学习一个最优策略(policy),可以让本体(agent)在特定环境(environment)中,根据当前的状态(state),做出行动(action...

1372
来自专栏ATYUN订阅号

fast.ai推出全新的7周实用深度学习课程

深度学习入门课程第1部分,为编码人员提供实用的深度学习入门课程,由Jeremy Howard (Enlitic创始人)授课。深度学习入门课程不需要研究生水平的数...

1094
来自专栏ATYUN订阅号

【指南】非技术人员的机器学习指南:如何轻松地进入机器学习

世界末日 首先,我们听说机器人正在做蓝领工作。 ? 然后,我们发现白领工作也不安全。 ? 在我们恐慌我们将要失业,我们发现这些机器人正在背后议论我们。 ? 可能...

3796
来自专栏新智元

【开发者的2018】GAN、AutoML、统一框架、语音等十大趋势

来源:medium 作者:Alex Honchar 翻译:刘小芹 【新智元导读】本文从开发者的角度,总结了GAN、AutoML、语音识别、NLP等已经可以用...

3596
来自专栏CSDN技术头条

探寻微博背后的大数据原理:微博推荐算法简述

在介绍微博推荐算法之前,我们先聊一聊推荐系统和推荐算法。有这样一些问题:推荐系统适用哪些场景?用来解决什么问题、具有怎样的价值?效果如何衡量? 推荐系统诞生很早...

3705
来自专栏AI科技大本营的专栏

AI 技术讲座精选:深度学习和人工智能技术是如何加速领域驱动设计的

【AI100 导读】你的代码库与企业模型是否匹配?深度学习和其他人工智能技术正在帮助领域驱动设计与组织业务目标进行匹配,这是如何做到的呢? ? 当下,人工智能...

3525
来自专栏AI科技大本营的专栏

​产品经理如何学机器学习——一篇以产品为中心的机器学习概论

我现在常常听说产品负责人/经理、技术经理和设计师通过网上课程学习机器学习。我一直鼓励这种做法——实际上,我本人曾学习过那些课程(并且在博客上发表了相关内容)。 ...

4148
来自专栏ATYUN订阅号

在视频网站Netflix上进行个性化算法的创新 迎合你的口味排序视频

Netflix是一家美国在线视频网站。Netflix的视频体验是由一系列排名算法(Ranking Algorithm)组成的,每一种算法都针对不同的目的进行优化...

3365
来自专栏机器人网

最受欢迎开源深度学习框架榜单:这个排名让人想起~~

Keras作者Fran?ois Chollet刚刚在Twitter贴出一张图片,是近三个月来arXiv上提到的深度学习开源框架排行: ? TensorFlow排...

9287
来自专栏专知

论文被拒的原因……以及我们能做些什么

【导读】作为一位研究学者,或者硕博研究生,论文被拒简直是噩梦……你知道你的论文会因为什么原因被拒吗? 我们应该如何尽量提高自己文章的录取概率?这里有一份指南送给...

2652

扫码关注云+社区

领取腾讯云代金券