TensorFlow-9-词的向量表示

今日资料: https://www.tensorflow.org/tutorials/word2vec 中文版: http://wiki.jikexueyuan.com/project/tensorflow-zh/tutorials/word2vec.html

这一节是关于 word2vec 模型的,可以用来学习词的向量表达,也叫‘word embeddings’。

之前写过一篇:word2vec 模型思想和代码实现,里面有 skip-gram 算法的简单实现。 http://www.jianshu.com/p/86134284fa14

今天要看的是如何在 TensorFlow 中训练词向量,主要看一下这个代码: tensorflow/examples/tutorials/word2vec/word2vec_basic.py

词向量就是用一个具有一定维度的向量来表示一个单词,这样在分布式假设的思想下,我们可以认为出现在相同上下文情景中的词汇都有类似的语义。

word2vec 可以很有效地从文本中学习出词向量,主要有两种算法,Continuous Bag-of-Words model (CBOW) 和 Skip-Gram ,CBOW 根据上下文('the cat sits on the')来预测目标词汇(例如,‘mat’),而 Skip-Gram 则相反,它通过已知的目标词汇来预测上下文。

通常的 Neural probabilistic language 是通过极大似然法来条件概率:在给定前面语境的情况下,最大化目标词的概率。 而在 word2vec 中不需要用全概率模型,而是用 logistic regression 来把真实的目标词汇和制造的噪音词汇分开

目标函数就是,这个也叫 Negative Sampling,

即现在的 loss function 只和随机选出来的 k 个 噪声单词有关,而不是整个语料库 V,这样训练比较快。


本节的代码就是用一个 Skip-gram 模型来训练词向量:

例如我们有数据集: the quick brown fox jumped over the lazy dog 假设使用大小为1的窗口,这样就得到这样一个由(上下文, 目标单词) 组成的数据集: ([the, brown], quick), ([quick, fox], brown), ([brown, jumped], fox), ...

Skip-Gram 模型是把目标单词和上下文颠倒过来,因此数据集就变成由(输入, 输出)组成的: (quick, the), (quick, brown), (brown, quick), (brown, fox), ...

我们会计算每一对观察值和噪声值的损失函数,例如 sheep 就是个噪音:

整个计算的过程就是我们求出目标函数对 theta 的梯度,然后通过梯度下降法来更新 embedding parameters theta 来最大化目标函数,结果就是 embedding vectors 会不断地移动,直到可以把真实单词和噪声单词很好得区分开。

最后还可以用 t-SNE 来可视化最后的词向量间的距离关系,可以发现具有相似信息的单词距离较近。


1. 先下载数据,words 有17005207 个单词:

url = 'http://mattmahoney.net/dc/'
...
filename = maybe_download('text8.zip', 31344016)
...
words = read_data(filename)

count 就是要统计出 words 里面最高频的 5 万个单词。 dictionary 里的 key 就是 count 里的单词,value 就是频率的排序号。 data 里存的是 words 中每个单词在 dictionary 中的序号,如果不在 5 万里面,就标记为 0. reverse_dictionary 就是 key value 和 dictionary 里面的互换一下位置:

2. 用 最大长度为 span 的 deque 做一个窗口:

span = 2 * skip_window + 1
buffer = collections.deque(maxlen=span)

从 data 中一个一个读,先把一个窗口给读满。 要生成 batch_size 个样本, 每个样本是,先找到当前窗口的 target,然后在这个窗口中,随机生成 num_skips 个 target-context 对, 即会生成:3084 originated -> 12 as 这样的对。 每次生成完一个样本后,窗口向后移动一位, 一直到生成完 batch_size 个。

embeddings 是先随机生成 5万*128 维, 3. NCE loss 就是训练目标:

4. 用 SGD 优化器去优化目标, valid_embeddings 是用来检验的 16 个单词的词向量表示, similarity 是定义验证单词与词汇表中所有单词的相似度:

5. 然后就开始训练模型,num_steps = 100001 每 2000 次迭代后,显示一下平均 loss, 每 10000 次后,计算一下验证单词与所有单词的相似度,并将最相似的 8 个单词显示出来:

6. 最后用 TSNE 将 128 维的词向量降到 2 维,并展示频率最高的 100 个单词:

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏磐创AI技术团队的专栏

支持向量机原理讲解(一)

1355
来自专栏机器学习之旅

理论:决策树及衍射指标

特征A对训练数据集D的信息增益g(D,A),定义为集合D的经验熵H(D)与特征A给定条件下的经验条件熵H(D|A)之差

744
来自专栏WD学习记录

机器学习 学习笔记(23) 卷积网络

卷积网络(convolutional network),也叫做卷积神经网络(convolutional neural network,CNN),是一种专门用来处...

2142
来自专栏人工智能

深入机器学习系列3-逻辑回归

1 二元逻辑回归 回归是一种很容易理解的模型,就相当于y=f(x),表明自变量x与因变量y的关系。最常见问题如医生治病时的望、闻、问、切,之后判定病人是否生病或...

2049
来自专栏技术翻译

带你了解什么是卷积神经网络

CNN在图像处理和视频处理领域有着广泛的应用。在这篇文章中,我将详细介绍卷积神经网络是如何进化的,以及为什么它们在图像领域如此出色。在此基础上,我们将建立一个使...

2020
来自专栏素质云笔记

SSD+caffe︱Single Shot MultiBox Detector 目标检测(一)

作者的思路就是Faster R-CNN+YOLO,利用YOLO的思路和Faster R-CNN的anchor box的思想。 . 0 导读 (本节来源于BO...

7326
来自专栏机器之心

入门 | 一文概览深度学习中的激活函数

3088
来自专栏大数据挖掘DT机器学习

用NN(神经网络)实现数据的降维理论及练习

数据降维的重要性就不必说了,而用NN(神经网络)来对数据进行大量的降维是从2006开始的,这起源于2006年science上的一篇文章:reducing the...

4969
来自专栏ATYUN订阅号

如何在Python中扩展LSTM网络的数据

您的序列预测问题的数据可能需要在训练神经网络时进行缩放,例如LSTM递归神经网络。 当网络适合具有一定范围值(例如10s到100s的数量)的非标度数据时,大量...

3885
来自专栏Star先生的专栏

深度学习入门必须理解这25个概念

本文主要介绍了深度学习入门必须理解的25个概念,包括神经网络基础、卷积神经网络以及循环神经网络。

2.5K3

扫码关注云+社区