在计算机视觉中,模型CNN随着其层次加深可以学习到更深层次的特征信息,叠加64层或128层是十分正常的现象,且能较浅层取得更优的效果;
图卷积神经网络GCNs是一种针对图结构数据的深度学习方法,但目前大多数的GCN模型都是浅层的,如GCN,GAT模型都是在2层时取得最优效果,随着加深模型效果就会大幅度下降;
GCN随着模型层次加深会出现Over-Smoothing问题,Over-Smoothing既相邻的节点随着网络变深就会越来越相似,最后学习到的nodeembedding便无法区分,模型效果下降。
为什么要将GNN做深,DeeperGNN适用于解决什么问题:
(1)少标签半监督节点分类
(2)少特征半监督节点分类
1、邻接矩阵A:归一化方式P ̃,采样等;
2、节点特征H:LocalInformation, Global Information如何选择;
3、参数W:Transformation添加的位置(相对于Propagation)等;
4、损失函数Loss/Normalization:通过loss函数控制模型对于Node Embedding学习
接下来,我们将通过上述一个公式,结合以上四点观点,分享下面五篇论文
Papers