前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >2020综述 深就是好?深度GNN中的Over-Smoothing

2020综述 深就是好?深度GNN中的Over-Smoothing

作者头像
Houye
发布2020-12-29 14:49:14
1.2K0
发布2020-12-29 14:49:14
举报
文章被收录于专栏:图与推荐图与推荐
Motivation

在计算机视觉中,模型CNN随着其层次加深可以学习到更深层次的特征信息,叠加64层或128层是十分正常的现象,且能较浅层取得更优的效果;

图卷积神经网络GCNs是一种针对图结构数据的深度学习方法,但目前大多数的GCN模型都是浅层的,如GCN,GAT模型都是在2层时取得最优效果,随着加深模型效果就会大幅度下降;

GCN随着模型层次加深会出现Over-Smoothing问题,Over-Smoothing既相邻的节点随着网络变深就会越来越相似,最后学习到的nodeembedding便无法区分,模型效果下降。

为什么要将GNN做深,DeeperGNN适用于解决什么问题:

(1)少标签半监督节点分类

(2)少特征半监督节点分类

1、邻接矩阵A:归一化方式P ̃,采样等;

2、节点特征H:LocalInformation, Global Information如何选择;

3、参数W:Transformation添加的位置(相对于Propagation)等;

4、损失函数Loss/Normalization:通过loss函数控制模型对于Node Embedding学习

接下来,我们将通过上述一个公式,结合以上四点观点,分享下面五篇论文

Papers

本文参与 腾讯云自媒体分享计划,分享自微信公众号。
原始发表:2020-12-26,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 图神经网络与推荐系统 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体分享计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档