将每个文档作为单个[5] 1D文本数组放入BERT中,这样就得到了一个[5,768]形状的嵌入。
为了方便演示,我们只采用BERT输出的前8个维度作为节点特征,这样可以更容易地跟踪数据形状。...因为不能直接将节点特征从[5,8]广播到[5,5,8],我们必须首先广播到[25,8],因为在广播时,形状中的每个维度都必须大于或等于原始维度。...这里的实现非常简单,只需将邻接矩阵解析为十进制并从[5,5]形状广播到[5,5,8]。将这个邻接掩码与平铺节点邻居特征相乘。...将[5,hidden_size, 5]形状乘以[5,5,8]形状得到[5,hidden_size, 8]形状。然后我们对hidden_size维度求和,最终输出[5,8],匹配我们的输入形状。...总结
本文介绍二零单个GNN层和GAT层的可视化实现。在论文中,他们还解释了是如何扩展多头注意方法的,我们这里没有进行演示。