图卷积网络图深度学习（下）
在上一部分，我们了解了图卷积网络的概念和它的传播规则，今天我们继续学习以下内容：
前文回顾：图卷积网络图深度学习（上）
规范化特性表示
通过将邻接矩阵A与D[1]的逆矩阵相乘，可以通过节点度对特征表示进行规范化[1]。因此，我们的简化传播规则如下所示：
f(X, A) = D⁻¹AX
让我们看看会发生什么。我们首先计算度矩阵。
In [9]: D = np.array(np.sum(A, axis=0))[0]
D = np.matrix(np.diag(D))
D
Out[9]: matrix([
[1., 0., 0., 0.],
[0., 2., 0., 0.],
[0., 0., 2., 0.],
[0., 0., 0., 1.]
])在应用这条规则之前，让我们看看在转换邻接矩阵之后会发生什么。
之前
A = np.matrix([
[0, 1, 0, 0],
[0, 0, 1, 1],
[0, 1, 0, 0],
[1, 0, 1, 0]],
dtype=float
)之后
In [10]: D**-1 * A
Out[10]: matrix([
[0. , 1. , 0. , 0. ],
[0. , 0. , 0.5, 0.5],
[0. , 0.5, 0. , 0. ],
[0.5, 0. , 0.5, 0. ]
])观察邻接矩阵的每一行中的权重（值）已除以与该行相对应的节点的阶数。我们将传播规则应用于变换后的邻接矩阵。
In [11]: D**-1 * A * X
Out[11]: matrix([
[ 1. , -1. ],
[ 2.5, -2.5],
[ 0.5, -0.5],
[ 2. , -2. ]
])得到与相邻节点特征均值对应的节点表示。这是因为（转换的）邻接矩阵中的权重对应于邻接节点特征的加权和中的权重。我再次鼓励您亲自验证这一观察结果。
把所有的东西放在一起
我们现在结合了自循环和规范化技巧。此外，我们将重新引入我们先前丢弃的权重和激活函数，以简化讨论。
把权重加回去
首先要做的是运用权重。注意，这里D_hat是A_hat = A + I的次数矩阵，即，具有强制自循环的A的度矩阵。
In [45]: W = np.matrix([
[1, -1],
[-1, 1]
])
D_hat**-1 * A_hat * X * W
Out[45]: matrix([
[ 1., -1.],
[ 4., -4.],
[ 2., -2.],
[ 5., -5.]
])如果我们想降低输出特征表示的维数，我们可以减小权重矩阵w的大小：
In [46]: W = np.matrix([
[1],
[-1]
])
D_hat**-1 * A_hat * X * W
Out[46]: matrix([[1.],
[4.],
[2.],
[5.]]
)添加激活函数
我们选择保留特征表示的维数，并应用ReLU激活函数。
In [51]: W = np.matrix([
[1, -1],
[-1, 1]
])
relu(D_hat**-1 * A_hat * X * W)
Out[51]: matrix([[1., 0.],
[4., 0.],
[2., 0.],
[5., 0.]])瞧!一个完整的隐藏层与邻接矩阵，输入功能，权重和激活功能!
回到现实
现在，最后，我们可以将图卷积网络应用于实图。我将向您展示如何生成我们在文章早期看到的功能表示。
Zachary空手道俱乐部
Zachary的空手道俱乐部是一个常用的社交网络，节点代表空手道俱乐部的成员和他们之间的边缘关系。在Zachary学习空手道的时候，管理员和教练发生了冲突，导致空手道俱乐部一分为二。下图显示了网络的图形表示，节点根据俱乐部的哪个部分进行标记。管理员和讲师分别用“A”和“I”标记。
建立GCN
现在让我们建立图卷积网络。我们实际上不会训练网络，只是随机初始化它，以生成我们在本文开头看到的特性表示。我们将使用networkx，它有一个容易获得的俱乐部的图形表示，并计算A_hat和D_hat矩阵。
from networkx import karate_club_graph, to_numpy_matrixzkc = karate_club_graph()
order = sorted(list(zkc.nodes()))A = to_numpy_matrix(zkc, nodelist=order)
I = np.eye(zkc.number_of_nodes())A_hat = A + I
D_hat = np.array(np.sum(A_hat, axis=0))[0]
D_hat = np.matrix(np.diag(D_hat))接下来，我们将随机初始化权重。
W_1 = np.random.normal(
loc=0, scale=1, size=(zkc.number_of_nodes(), 4))
W_2 = np.random.normal(
loc=0, size=(W_1.shape[1], 2))堆叠GCN层。这里我们只使用身份矩阵作为特征表示，即每个节点被表示为一个热编码的分类变量。
def gcn_layer(A_hat, D_hat, X, W):
return relu(D_hat**-1 * A_hat * X * W)
H_1 = gcn_layer(A_hat, D_hat, I, W_1)
H_2 = gcn_layer(A_hat, D_hat, H_1, W_2)
output = H_2我们提取特征表示。
feature_representations = {
node: np.array(output)[node]
for node in zkc.nodes()}瞧！将Zachary空手道俱乐部的社区很好地分隔开的特征表示。我们还没开始训练呢！
zachary空手道俱乐部节点的特征表示
我应该注意到，在这个示例中，由于ReLU函数的作用，随机初始化的权重很可能在x轴或y轴上给出0个值，因此需要进行一些随机初始化才能生成上面的图。
结论