图神经网络（03）-Node Embeddings

1 引言

图的表示学习的目的就是获得独立于不同任务的高效特征，通俗点讲就是能够针对不同任务学习得到适合任务的嵌入表示。

Node Embedding的目的就是能够将节点映射到不同的embedding空间：

• 节点间的embedding的相似性可以表示了节点间在网络的相似性：如果两个节点之间存在边，那么两个节点越相似
• 节点的Embedding能够编码网络信息
• 可以用于下游任务，比如节点分类，边的预测，图的分类等

下面是一个Zachary's Karate Club Network的2维节点Embedding展示：

2 节点嵌入：编码和解码

这一节我们主要掌握下如何学习节点的嵌入向量

2.1 构建输入-图

首先，假设我们有一个图

G

：

V

代表节点的集合

A

代表链接矩阵 为了方便起见，我们默认认为节点没有其他的额外特征，如下图所示：

2.2 学习目标-Node Embedding

我们的目标是能够学习到节点的嵌入表示，这种节点嵌入的相似性能够近似节点在图中的相似性。

图中

ENC(u)

代表对节点

u

进行编码表示得到

z_{u}

,同样

ENC(v)

代表对节点

u

进行编码表示得到

z_{v}

2.3 学习方法-Encoder和Decoder

1. Encoder能够将节点映射成向量
2. 定义一个节点相似性函数(比如节点在原始图中的相似性评估方法)
3. Decoder DEC能够将节点向量映射成相似性分数
4. 优化编码器的参数： 原始网络的相似性：

similarity(u,v)

\approx

节点嵌入的相似性 ：

z_{v}^Tz_{u}

其中有两个非常关键因素：编码和相似性函数。编码器能够学习到节点的向量，相似性函数能够提供我们优化的目标，如果两个节点在图中存在边或者距离越近，那么它们对应的节点向量在向量空间中相似性也会越大。

如何选择定义节点相似性的方法是关键的地方，我们考虑下什么情况下，两个节点的相似性比较高？

• 是否存在边或者连接
• 是否共享邻居节点
• 是否包括相似的属性特征 接下来我们通过随机游走（Random Walks）来学习节点相似性，以及优化节点的嵌入向量。

3 Random Walk

3.1 符号

为了方面接下来的公式推导，我们统一下符号标记：

• 向量

z_{u}

: u节点的嵌入向量

• 概率

P(v|z_{u})

： 从节点

u

出发通过随机游走访问节点

v

的概率

• Softmax函数：通过softmax函数一作用，一个K维向量就映射成为(0,1)的值，而这些值的累和为1（满足概率的性质），那么我们就可以将它理解成概率，在最后选取输出结点的时候，我们就可以选取概率最大（也就是值对应最大的）结点，作为我们的预测目标。

\sigma(z)_{i}=\frac{e^{Z_{i}}}{\sum_{j=1}^Ke^{Z_{j}}}

• Sigmoid函数：

S(x)=\frac{1}{1+e^{-x}}

将一个数映射到（0,1）的区间