Hierarchical Attention Based Semi-supervised Network Representation Learning

Hierarchical Attention Based Semi-supervised Network Representation Learning

1. 任务

给定:节点信息网络

目标:为每个节点生成一个低维向量

基于半监督的分层关注网络嵌入方法

2. 创新点:

以半监督的方式结合外部信息

1. 提出SHANE 模型,集成节点结构,文本和标签信息,并以半监督的方式学习网络嵌入

2. 使用分层注意网络学习节点的文本特征, 两层双向GRU 提取单词和句子的潜在特征

3. 背景

1. 现有方法通常基于单词获取节点的文本特征矩阵,忽略分层结构(单词、句子)

2. 不同单词和句子包含不同数量信息,如何评估节点内容的差异性

3. 标签,也是重要的监督信息

4. 网络中存在大量未标记节点,如何合理利用

4. 模型

整合节点的结构,文本和标签信息

基于文本的表示学习

使用分层注意机制

4.1. 问题定义

G = (V, E, T, L)

( V: 节点集

E: 边集合

T: 节点的文本信息

L: 标签节点信息 )

节点u 的文本信息Du = (Su1, Su2,...,Suq)

句子信息 Sui = (Wui..)

给定信息网络,目标:为每个节点u 整合其结构和文本信息 学习一个低维向量 u,

4.2. 基于文本的表示

分层学习可获取不同粒度的文本信息

  • 词嵌入:捕获词汇特征
  • 句子嵌入: 捕获文本特征

4.2.1. word 编码器

  • 使用双向 GRU 编码单词序列
  • 使用注意力机制识别重要单词
  • 类似:使用双向GRU 编码句子

假设节点 u 包含 q 个句子, 每个句子包含 m 个单词,通过查询获取句子 Sui 的词语序列

使用双向 GRU 编码单词序列

( 通过连接以上两个方向的 h 可包含两个方向的信息,使用注意机制识别词语的重要性,如下)

( Sui 是节点 u 第 i 个句子的嵌入, Cw 是全局的词语向量,a 是用于句子表示,融合单词嵌入的权重)

4.2.2. 句子编码器

类似单词编码器,类似的双向GRU ,得到分层编码的文本嵌入 ut

为了避免新的表示与原始文本的偏差,获取分层关注网络的嵌入后,添加该节点词嵌入的平均值向量 Uta,得到节点 u 的文本表示 ut

4.3. 基于结构的表示

含有边的两个节点结构相似

CANE 中将每个部分的对数似然表示为

( u 与 v 相连接, Wu,v为权重,Us 是基于结构的嵌入)

u 生成 v 的条件概率为

节点 u 的基于结构的嵌入区别于所连接的节点,结构的最终嵌入为与不同节点连接所得的平均值

( E 为 u 的边)

4.4. 半监督的分层网络嵌入

未标记的节点:只考虑结构和文本特征

为了匹配标签丢失的节点,我们通过全连接层将节点的嵌入映射到标签空间,可预测节点的标签分布

( Ll 表示有标签的节点子集,有标签的节点的目标函数为:)

( lamda 是标签损失权重)

SHANE 的全局目标函数:

5. 实验

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏杨熹的专栏

权重初始化的几个方法

其中第一步 权重的初始化 对模型的训练速度和准确性起着重要的作用,所以需要正确地进行初始化。

27320
来自专栏决胜机器学习

循环神经网络(一) ——循环神经网络模型与反向传播算法

循环神经网络(一) ——循环神经网络模型与反向传播算法 (原创内容,转载请注明来源,谢谢) 一、概述 这一章开始讲循环神经网络(RNN,Recurrent Ne...

40150
来自专栏深度学习那些事儿

先读懂CapsNet架构然后用TensorFlow实现:全面解析Hinton提出的Capsule

本文转载于:https://www.jiqizhixin.com/articles/2017-11-05。如有侵权请告知。

25870
来自专栏机器学习算法与Python学习

循环神经网络(RNN)

前言: 前馈神经网络的输入和输出的维数都是固定的,不能任意改变。当处理序列数据时,前馈神经网络就无能力为了。因为序列数据是变长的。为了使得前馈神经网络能处理变长...

35860
来自专栏AI科技大本营的专栏

资源 |​ 史上最全机器学习笔记

本文由LCatro整理 机器学习 机器学习算法原理 https://github.com/wepe/MachineLearning 机器学习实战原书内容与批注 ...

461100
来自专栏石瞳禅的互联网实验室

【TensorFlow实战——笔记】第3章:TensorFlow第一步_TensorFlow实现Softmax Regression识别手写数字

MNIST(Mixed National Institute of Standards and Technology database)是一个非常简单的机器视觉...

7900
来自专栏决胜机器学习

卷积神经网络(二) ——LetNet-5、AlexNet、VGG-16、残差网络

卷积神经网络(二) ——LetNet-5、AlexNet、VGG-16、残差网络 (原创内容,转载请注明来源,谢谢) 一、概述 本文主要介绍几种卷积网络模型,学...

66260
来自专栏mantou大数据

[机器学习Lesson 2]代价函数之线性回归算法

x(1) 指的是 第一个训练集里值为2104的输入值, 这个就是第一行里的x x(2) 等于1416。这是第二个x y(1) 等于460,这是第一个训练集样本的...

529100
来自专栏null的专栏

UFLDL笔记——自我学习

注:最近打算将UFLDL教程重新看一遍,其实里面有很多关于神经网络以及深度学习的知识点很有用,但是只是学习深度学习的话有一些内容就有点多余,所以想整理一个笔记,...

36950
来自专栏人工智能

机器学习笔记

基本术语 数据集(data set): 一组数据的集合 样本/示例(instance/sample):数据集中的一个事件或对象 属性/特征(attribute/...

21290

扫码关注云+社区

领取腾讯云代金券