专栏首页企鹅号快讯VAIN:Attentional Multi-agent Predictive Modeling

VAIN:Attentional Multi-agent Predictive Modeling

Hoshen Y. VAIN: Attentional Multi-agent Predictive Modeling[J]. arXiv preprint arXiv:1706.06122, 2017.

原文:https://arxiv.org/pdf/1706.06122.pdf

简介:

这篇文章来自多agent领域,主要讲述在其它agent的影响下,当前agent的状态如何进行更新。在本文中,作者提出了一种attention模型,每个agent的状态预测是由所有agent信息的加权整合和自身状态信息的交互完成的。

这种思想与两篇ICLR 2018 submissions,即GCN with attention mechanism,非常相近且发布较早(2017年6月)。

背景:

在多agent系统中,信息是极其不规则的,多个agent之间既无固定的空间结构,也没有自然的顺序关系。因此,成熟的深度学习方法CNN、RNN等不能直接应用于多agent系统的建模。已有工作IN(Interaction Networks)最早提出使用深度学习模型解决多agent系统中每个agent状态预测问题,其关键步骤是计算agent之间两两的交互特征,然后再与agent自身的非交互特征相融合。

不难看出其复杂度是agent数量的平方,大大限制了应用场景。之后,CommNet提出了一种线性的方法,去掉了计算两两交互特征,取而代之的是为每个agent计算一个服务于其它agent的特征,这个特征是独立计算的,不依赖与其它agent。因此,CommNet的复杂度降为线性。

模型:

总结IN和CommNet两种算法,一种充分利用了agent之间的交互信息但复杂度较高,一种降低复杂度的同时弱化了agent之间的交互。

本文可以看作是在CommNet的基础上,增加了attention模型。在保持线性复杂度的同时,对agent之间的交互更好地建模。

模型框架如上图。在输入层,F_i代表agent i的原始特征,如类型、位置等信息。第二部包涵两个编码器:编码器E_s将F_i转化为 agent的自身特征,编码器E_c通过F_i生成agent用来交互的特征及attention向量。在第三部,以加权平均的方式将所有agent( 不包含自身)的交互特征进行组合,计算公式如下:

第四部,作者使用拼接方式将交互特征P_i和自身特征e_i进行融合,得到中间表示C_i。然后设计了一个解码器D(全连接网络),将中间表示C_i映射为标量(回归任务)或向量(分类任务)o_i.对于分类任务,将输出o_i做softmax即可。

思考:

本文的工作与GCN with attention极其相关。个人认为,主要区别有:

1)GCN是以图作为输入的,每个节点并非从其它所有节点接受信息而是邻居节点。

2) Attention的计算方式不同,本文的attention score计算方式区别于传统计算方法,相当于衡量两个agent的attention vector之间的欧式距离。

作者:宋卫平,北京大学在读博士,研究方向为深度学习,推荐系统,网络表示学习。

本文来自企鹅号 - 科技创新与创业媒体

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 青岛的“真正市区”究竟有多大?大数据得出的结论让人吃惊!

    依然是来自青岛君的碎碎念—— 数据,往往是戳破一切谎言、吹嘘和自我营造幻觉的利器,有时,还能提前洞悉趋势 印象比较深刻的是2016年春天,受《华夏时报》发表的那...

    企鹅号小编
  • 《design data-intensive application》阅读笔记之一

    于2017年末得知了一本神书《design data-intensive application》,读完即可惜,如果早拿到这本书,就不会纠结于很多分布式系统和数...

    企鹅号小编
  • python3 tornado开发TCP服务程序,也是666

    上一次利用tornado开发了一个http API服务程序,在centos7.4 64位 2C/4G的服务器上进行了一次,很轻松的rps就到10000每秒,利用...

    企鹅号小编
  • TensorFlow强化学习入门(5)—— 可视化Agent的“所思所想”

    在我的强化学习系列的文章中,我想要深入探究我们基于神经网络的agent在训练过程中习得的表达形式。尽管我们的直接目的是希望我们的agent能够获得更高的分数,或...

    ArrayZoneYour
  • 新任务引介 | Embodied Question Answering

    本次分享的论文提出了一个新的任务 Embodied Question Answering (EQA)。在这个任务里面,一个agent在三维虚拟空间中进行随机出现...

    马上科普尚尚
  • 玩转Flume+Kafka原来也就那点事儿

    好久没有写分享了,继前一个系列进行了Kafka源码分享之后,接下来进行Flume源码分析系列,望大家继续关注,今天先进行开篇文章Flume+kafka的环境配置...

    小程故事多
  • Skywalking系列博客4-Java Agent配置

    agent配置有多种姿势,上面修改 agent.config 文件中的值,只是其中一种。下面专门探讨agent支持的配置方式。

    用户1516716
  • 无人机送货充电包教包会!TensorFlow复合目标强化学习教程

    王瀚宸 编译自 O’reilly 原文作者:Arthur Juliani 量子位 出品 | 公众号 QbitAI 本文用到的所有python代码都在GitHub...

    量子位
  • Windows Docker Agent 镜像可以常规使用了

    我们宣布可以使用官方的 Windows agent Docker 镜像了,这些镜像允许在 Docker 和 Kubernetes 上使用 Windows 操作系...

    LinuxSuRen
  • Hadoop数据分析平台实战——150Flume介绍离线数据分析平台实战——150Flume介绍

    离线数据分析平台实战——150Flume介绍 Nginx介绍 Nginx是一款轻量级的Web 服务器/反向代理服务器及电子邮件(IMAP/POP3)代理服务器。...

    Albert陈凯

扫码关注云+社区

领取腾讯云代金券