[nips 2022 | 论文简读] 标准transformer是强大的图学习器

简读分享 | 王天朔 编辑 | 王宇哲

论文题目

Pure Transformers are Powerful Graph Learners

论文摘要

作者表明，在理论和实践中，没有特定于图进行修改的标准transformer可以在图学习中取得很好的结果。给定一个图，只需将所有节点和边视为独立的标记，用标记嵌入来增强它们，并将它们提供给Transformer。通过适当选择标记嵌入，本文证明了该方法在理论上至少与由等变线性层组成的不变图网络（2-IGN）一样具有表示能力，它已经比所有消息传递图神经网络（GNN）更强。当在大规模图形数据集（PCQM4Mv2）上进行训练时，作者提出的Tokenized graph Transformer（TokenGT）方法与GNN基线相比，取得了显著更好的结果。

论文链接

https://arxiv.org/pdf/2207.02505.pdf