TensoFlow 实战 3层网络求解嵌入词向量，附代码详解

double

发布于 2018-07-25 18:14:17

5980

发布于 2018-07-25 18:14:17

文章被收录于专栏：算法channel算法channel

已经介绍了Word2Vec中的Skip-Gram模型的基本原理，以及训练过程的3个策略，详细请参考：

斯坦福大学NLP-cs224课程笔记2：词向量模型

Word2vec之Skip-Gram训练网络的3种技术

接下来开始动手用 TensorFlow 实现自己的 Word2Vec 模型，本篇文章将利用 TensorFlow 来完成 Skip-Gram 模型。还不是很了解Skip-Gram思想的小伙伴可以参考以上推送文章。

本篇 TensorFlow 实战参考天雨粟的实现思路，实战代码的主要目的是加深对Skip-Gram 模型中一些思想和训练技巧的理解，选用了满足自己训练目的的语料规模，对语料质量和算法细节做基本的约束要求，尽可能的降低训练成本。同时，运用 TensorFlow 框架建立网络结构，求解嵌入的词向量。

实战工具

Skip-Gram 模型的训练所使用的语言，库，及工具如下所示：

语言：Python 3
包：TensorFlow包，Numpy包
编辑器：Pycharm
线上GPU：floyd (https://www.floydhub.com/)，这是一个非常不错的在线训练深度学习神经网络的平台
数据集：维基百科英文文章预料，参考天雨粟给出的预料，预料字节数为90+M.

数据预处理

首先，导入用到的包，如下：

import random
import time

加载训练网络所用的语料，如下：

with  open('data/text8') as f:

数据预处理部分主要做的工作包括：

替换文本中特殊符号，比如：逗号，分号，感叹号等
对文本分词
去除低频词，减少噪音
构建语料
单词映射表

替换文本中的特殊字符：

text = text.replace('.', ' <PER> ').replace(',', ' <COM> ').replace('"', ' <QUO> ').\

根据空格分词

words = self.text.split()

剔除低频词

word_counts = Counter(words)

去重后的词汇表

vocab = set(words)

在词汇表中建立映射关系

vocab_to_int = {w: c for c, w in enumerate(vocab)}

去除低频率的单词，同时去除高频出现的停用词，例如“the”， “of”以及“for”这类单词进行剔除。剔除这些单词以后能够加快我们的训练过程，同时减少训练过程中的噪音。采用以下公式:

其中 t 是一个阈值参数，一般为 1e-3 至 1e-5 fwi) 是单词 wi 在整个数据集中的出现频次

P(wi) 是单词被删除的概率

# 在词汇表中找到单词的索引list

输入样本

Skip-Gram模型的输入是基于中心词的上下文窗依次配对，通过一定批次大小构建输入样本。

对于一个给定词，离它越近的词可能与它越相关，离它越远的词越不相关，这里我们设置窗口大小为 5，对于每个训练单词，我们还会在 [1:5] 之间随机生成一个整数 R，用 R 作为我们最终选择 output word 的窗口大小。这里之所以多加了一步随机数的窗口重新选择步骤，是为了能够让模型更聚焦于当前 input word 的邻近词。

def generate_batches(self,train_words_index):

三层网络

该部分主要包括：

输入层
Embedding，
嵌入矩阵的矩阵形状为 vocab_size×hidden_units_size ，TensorFlow 中的 tf.nn.embedding_lookup 函数可以实现 lookup 的计算方式
Negative Sampling，负采样主要是为了解决梯度下降计算速度慢的问题，详细的实现细节请参考 Word2vec之Skip-Gram训练网络的3种技术，TensorFlow中的 tf.nn.sampled_softmax_loss 会在 softmax 层上进行采样计算损失，实现类似于 negative sampling 的功能。

详细实现代码如下：

def build_tf_nn(self,train_words_index, int_to_vocab):

验证

抽取几个词，找出各自最相近的 topk 个单词。首先把测试样本加入到图中，

with train_graph.as_default():

接下来，运行以上默认图：

每 1000 个时步打印一次，从最后的训练结果来看，模型还是学到了一些常见词的语义，比如 one 等计数词以及 gold 之类的金属词，animals 中的相似词也相对准确，列表如下：

为了能够更全面地观察我们训练结果，我们采用 sklearn 中的 TSNE 来对高维词向量进行可视化。

以上便是在 TensorFlow 中完整源码实现Word2vec之Skip-Gram模型的详细过程代码。