TensorFlow-10-基于 LSTM 建立一个语言模型

今日资料: https://www.tensorflow.org/tutorials/recurrent 中文版: http://wiki.jikexueyuan.com/project/tensorflow-zh/tutorials/recurrent.html 代码: https://github.com/tensorflow/models/blob/master/tutorials/rnn/ptb/ptb_word_lm.py

今天的内容是基于 LSTM 建立一个语言模型

人每次思考时不会从头开始,而是保留之前思考的一些结果,为现在的决策提供支持。RNN 的最大特点是可以利用之前的信息,即模拟一定的记忆,具体可以看我之前写过的这篇文章: 详解循环神经网络(Recurrent Neural Network) http://www.jianshu.com/p/39a99c88a565

RNN 虽然可以处理整个时间序列信息,但是它记忆最深的还是最后输入的一些信号,而之前的信号的强度就会越来越低,起到的作用会比较小。 而 LSTM 可以改善长距离依赖的问题,不需要特别复杂的调试超参数就可以记住长期的信息。关于 LSTM 可以看这一篇文章: 详解 LSTM http://www.jianshu.com/p/dcec3f07d3b5

今天要实现一个语言模型,它是 NLP 中比较重要的一部分,给上文的语境后,可以预测下一个单词出现的概率。


首先下载 ptb 数据集,有一万个不同的单词,有句尾的标记,并且将罕见的词汇统一处理成特殊字符;

$ wget http://www.fit.vutbr.cz/~imikolov/rnnlm/simple-examples.tgz $ tar xvf simple-examples.tgz

PTBInput, 定义语言模型处理输入数据的一些参数,包括 LSTM 的展开步数 num_steps,用 reader.ptb_producer 读取数据和标签:

PTBModel, def __init__(self, is_training, config, input_) 包括三个参数,训练标记,配置参数以及输入数据的实例; 把这几个变量读取到本地,hidden_size 是隐藏层的节点数,vocab_size 是词汇表的大小;

def lstm_cell(),设定基本的 LSTM 单元,用的是 tf.contrib.rnn.BasicLSTMCell; 如果 if is_training and config.keep_prob < 1 这个条件的话,在 LSTM 单元后面可以加一个 dropout 层; 再用 tf.contrib.rnn.MultiRNNCell 把多层的 LSTM 堆加到一起; 用 cell.zero_state 将 LSTM 的初始状态设置为0;

接下来是 embedding 矩阵,行数是词汇表的大小,列数是每个单词的向量表达的维度,在训练过程中,它可以被优化和更新;

接下来我们要定义输出,限制一下反向传播时可以展开的步数,将 inputs 和 state 传到 LSTM,然后把输出结果添加到 outputs 的列表里;

然后将输出的内容串到一起,接下来 softmax 层,接着要定义损失函数 loss,它的定义形式是这样的:

然后我们要加和整个 batch 的误差,再平均到每个样本的误差,并且保留最终的状态,如果不是训练状态就直接返回;

接下来是定义学习速率,根据前面的 cost 计算一下梯度,并将梯度的最大范数设置好,相当于正则化的作用,可以防止梯度爆炸;

这个学习速率还可以更新,将其传入给 _new_lr,再执行 _lr_update 完成修改:

接下来可以定义几种不同大小的模型的参数,其中有学习速率,还有梯度的最大范数,还是 LSTM 的层数,反向传播的步数,隐含层节点数,dropout 保留节点的比例,学习速率的衰减速度:

run_epoch,是定义训练一个 epoch 数据的函数,首先初始化 costs 还有 iters,state; 将 LSTM 的所有 state 加入到 feed_dict 中,然后会生成结果的字典表 fetches,其中会有 cost 和 final_state; 每完成 10% 的 epoch 就显示一次结果,包括 epoch 的进度,perplexity(是cost 的自然常数指数,这个指标越低,表示预测越好),还有训练速度(单词数每秒):

main() 中: 用 reader.ptb_raw_data 读取解压后的数据; 得到 train_data, valid_data, test_data 数据集;

用 PTBInput 和 PTBModel 分别定义用来训练的模型 m,验证的模型 mvalid,测试的模型 mtest;

m.assign_lr 对 m 应用累计的 learning rate;

每个循环内执行一个 epoch 的训练和验证,输出 Learning rate,Train Perplexity, Valid Perplexity。

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏深度学习那些事儿

深度学习中数据集很小是一种什么样的体验

今天提一个比较轻松的话题,简单探讨数据集大小对深度学习训练的影响。 不知道大家有没有看过这篇文章:Don’t use deep learning your d...

2.1K4
来自专栏ATYUN订阅号

正则化贪心森林(RGF)的入门简介,含案例研究

作为曾参与机器学习竞赛的数据科学家,我一直在寻找“非主流”的算法。使用这些算法可能不会成为竞争的赢家。但是他们有独特的预测方式。这些算法可以在集成模型中使用,以...

5176
来自专栏AI科技评论

开发 | 手把手教你用 TensorFlow 实现文本分类(上)

由于需要学习语音识别,期间接触了深度学习的算法。利用空闲时间,想用神经网络做一个文本分类的应用, 目的是从头到尾完成一次机器学习的应用,学习模型的优化方法,同时...

3719
来自专栏人工智能

一步步教你理解LSTM

作者:王千发 编辑:田 旭 什么是LSTM 1 LSTM全名是Long Short-Term Memory,长短时记忆网络,可以用来处理时序数据,在自然语言处理...

4887
来自专栏ATYUN订阅号

不怕学不会 使用TensorFlow从零开始构建卷积神经网络

人们可以使用TensorFlow的所有高级工具如tf.contrib.learn和Keras,能够用少量代码轻易的建立一个卷积神经网络。但是通常在这种高级应用中...

4076
来自专栏计算机视觉战队

论文阅读——Selective Search for Object Recognition

今天认真把Selective Search for Object Recognition这篇文章阅读完,想来写写自己的见解与想法。如果有错,希望得到大牛们的指点...

32810
来自专栏杂七杂八

神经网络训练细节part1(下)

学习率的选择通过先用少部分数据来进行测试,选择一个较好的学习速率。选择的方式可以为在某个范围内随机取值,观察样本的准确率

1092
来自专栏PaddlePaddle

【文本分类】基于DNN/CNN的情感分类

导语 PaddlePaddle提供了丰富的运算单元,帮助大家以模块化的方式构建起千变万化的深度学习模型来解决不同的应用问题。这里,我们针对常见的机器学习任务,提...

4934
来自专栏人工智能头条

Azure Machine Learning 上如何选择合适的机器学习算法

1496
来自专栏Python小屋

Python使用tensorflow中梯度下降算法求解变量最优值

TensorFlow是一个用于人工智能的开源神器,是一个采用数据流图(data flow graphs)用于数值计算的开源软件库。数据流图使用节点(nodes)...

3588

扫码关注云+社区

领取腾讯云代金券