已经介绍了Word2Vec中的Skip-Gram模型的基本原理,以及训练过程的3个策略,详细请参考:
斯坦福大学NLP-cs224课程笔记2:词向量模型
Word2vec之Skip-Gram训练网络的3种技术
接下来开始动手用 TensorFlow 实现自己的 Word2Vec 模型,本篇文章将利用 TensorFlow 来完成 Skip-Gram 模型。还不是很了解Skip-Gram思想的小伙伴可以参考以上推送文章。
本篇 TensorFlow 实战参考 天雨粟 的实现思路,实战代码的主要目的是加深对Skip-Gram 模型中一些思想和训练技巧的理解,选用了满足自己训练目的的语料规模,对语料质量和算法细节做基本的约束要求,尽可能的降低训练成本。同时,运用 TensorFlow 框架建立网络结构,求解嵌入的词向量。
Skip-Gram 模型的训练所使用的语言,库,及工具如下所示:
首先,导入用到的包,如下:
import random
import time
加载训练网络所用的语料,如下:
with open('data/text8') as f:
数据预处理部分主要做的工作包括:
替换文本中的特殊字符:
text = text.replace('.', ' <PER> ').replace(',', ' <COM> ').replace('"', ' <QUO> ').\
根据空格分词
words = self.text.split()
剔除低频词
word_counts = Counter(words)
去重后的词汇表
vocab = set(words)
在词汇表中建立映射关系
vocab_to_int = {w: c for c, w in enumerate(vocab)}
去除低频率的单词,同时去除高频出现的停用词,例如“the”, “of”以及“for”这类单词进行剔除。剔除这些单词以后能够加快我们的训练过程,同时减少训练过程中的噪音。采用以下公式:
其中 t 是一个阈值参数,一般为 1e-3 至 1e-5 fwi) 是单词 wi 在整个数据集中的出现频次
P(wi) 是单词被删除的概率
# 在词汇表中找到单词的索引list
Skip-Gram模型的输入是基于中心词的上下文窗依次配对,通过一定批次大小构建输入样本。
对于一个给定词,离它越近的词可能与它越相关,离它越远的词越不相关,这里我们设置窗口大小为 5,对于每个训练单词,我们还会在 [1:5] 之间随机生成一个整数 R,用 R 作为我们最终选择 output word 的窗口大小。这里之所以多加了一步随机数的窗口重新选择步骤,是为了能够让模型更聚焦于当前 input word 的邻近词。
def generate_batches(self,train_words_index):
该部分主要包括:
详细实现代码如下:
def build_tf_nn(self,train_words_index, int_to_vocab):
抽取几个词,找出各自最相近的 topk 个单词。首先把测试样本加入到图中,
with train_graph.as_default():
接下来,运行以上默认图:
为了能够更全面地观察我们训练结果,我们采用 sklearn 中的 TSNE 来对高维词向量进行可视化。
以上便是在 TensorFlow 中完整源码实现Word2vec之Skip-Gram模型的详细过程代码。
TensorFlow笔记|为什么会有它?
TensorFlow笔记|Get Started
Tensorflow笔记|tensorflow做线性回
Tensorflow|Tensor, 与Numpy比较,Constant
Tensorflow|通过Variable及assign()感悟一点设计之道
Tensorflow|Session和InteractiveSession
点击以下标题查看相关内容:
本文分享自 程序员郭震zhenguo 微信公众号,前往查看
如有侵权,请联系 cloudcommunity@tencent.com 删除。
本文参与 腾讯云自媒体同步曝光计划 ,欢迎热爱写作的你一起参与!