解析Tensorflow官方PTB模型的demo

01 seq2seq代码案例解读

RNN 模型作为一个可以学习时间序列的模型被认为是深度学习中比较重要的一类模型。在Tensorflow的官方教程中,有两个与之相关的模型被实现出来。第一个模型是围绕着Zaremba的论文Recurrent Neural Network Regularization,以Tensorflow框架为载体进行的实验再现工作。第二个模型则是较为实用的英语法语翻译器。

在这篇博客里,我会主要针对第一个模型的代码进行解析。在之后的随笔里我会进而解析英语法语翻译器的机能。论文以及Tensorflow官方教程介绍:Zaremba设计了一款带有regularization机制的RNN模型。该模型是基于RNN模型的一个变种,叫做LSTM。

论文中,框架被运用在语言模型,语音识别,机器翻译以及图片概括等应用的建设上来验证架构的优越性。作为Tensorflow的官方demo,该模型仅仅被运用在了语言模型的建设上来试图重现论文中的数据。官方已经对他们的模型制作了一部教程,点击这里查看官方教程(英语版)。代码解析:代码可以在github找到,这里先放上代码地址。点击这里查看代码。代码框架很容易理解,一开始,PTB模型被设计入了一个类。该类的init函数为多层LSTM语言模型的架构,代码如下:

def __init__(self, is_training, config):
self.batch_size = batch_size = config.batch_size
self.num_steps = num_steps = config.num_steps size = config.hidden_size vocab_size = config.vocab_size   
#这里是定义输入tensor的placeholder,我们可见这里有两个输入,
# 一个是数据,一个是目标
self._input_data = tf.placeholder(tf.int32, [batch_size, num_steps])
self._targets = tf.placeholder(tf.int32, [batch_size, num_steps])
# Slightly better results can be obtained with forget gate biases
# initialized to 1 but the hyperparameters of the model would need to be
# different than reported in the paper.
# 这里首先定义了一单个lstm的cell,这个cell有五个parameter,依次是
# number of units in the lstm cell, forget gate bias, 一个已经deprecated的
# parameter input_size, state_is_tuple=False, 以及activation=tanh.这里我们
# 仅仅用了两个parameter,即size,也就是隐匿层的单元数量以及设forget gate
# 的bias为0. 上面那段英文注视其实是说如果把这个bias设为1效果更好,虽然
# 会制造出不同于原论文的结果。
lstm_cell = tf.nn.rnn_cell.BasicLSTMCell(size, forget_bias=0.0)
if is_training and config.keep_prob < 1: # 在训练以及为输出的保留几率小于1时
 # 这里这个dropoutwrapper其实是为每一个lstm cell的输入以及输出加入了dropout机制   lstm_cell = tf.nn.rnn_cell.DropoutWrapper(   lstm_cell, output_keep_prob=config.keep_prob)
# 这里的cell其实就是一个多层的结构了。它把每一曾的lstm cell连在了一起得到多层
# 的RNN
cell = tf.nn.rnn_cell.MultiRNNCell([lstm_cell] * config.num_layers)
# 根据论文地4页章节4.1,隐匿层的初始值是设为0
self._initial_state = cell.zero_state(batch_size, tf.float32)  with tf.device("/cpu:0"):  
# 设定embedding变量以及转化输入单词为
embedding里的词向量(embedding_lookup函数)   embedding = tf.get_variable("embedding", [vocab_size, size])   inputs = tf.nn.embedding_lookup(embedding, self._input_data)
if is_training and config.keep_prob < 1:  
# 对输入进行dropout
  inputs = tf.nn.dropout(inputs, config.keep_prob)
# Simplified version of tensorflow.models.rnn.rnn.py's rnn().
# This builds an unrolled LSTM for tutorial purposes only.
# In general, use the rnn() or state_saving_rnn() from rnn.py.
#
# The alternative version of the code below is:
#
# from tensorflow.models.rnn import rnn
# inputs = [tf.squeeze(input_, [1])
#           for input_ in tf.split(1, num_steps, inputs)]
# outputs, state = rnn.rnn(cell, inputs, initial_state=self._initial_state)
outputs = [] state = self._initial_state with tf.variable_scope("RNN"):  
for time_step in range(num_steps):   
if time_step > 0: tf.get_variable_scope().reuse_variables()    
# 从state开始运行RNN架构,输出为cell的输出以及新的state.     (cell_output, state) = cell(inputs[:, time_step, :], state)     outputs.append(cell_output)
# 输出定义为cell的输出乘以softmax weight w后加上softmax bias b. 这被叫做logit
output = tf.reshape(tf.concat(1, outputs), [-1, size])
softmax_w = tf.get_variable("softmax_w", [size, vocab_size]) softmax_b = tf.get_variable("softmax_b", [vocab_size]) logits = tf.matmul(output, softmax_w) + softmax_b
# loss函数是average negative log probability, 这里我们有现成的函数sequence_loss_by_example
# 来达到这个效果。
loss = tf.nn.seq2seq.sequence_loss_by_example(     [logits],     [tf.reshape(self._targets, [-1])],     [tf.ones([batch_size * num_steps])])
self._cost = cost = tf.reduce_sum(loss) / batch_size
self._final_state = state
if not is_training: return
# learning ratese
lf._lr = tf.Variable(0.0, trainable=False) tvars = tf.trainable_variables()
# 根据张量间的和的norm来clip多个张量
grads, _ = tf.clip_by_global_norm(tf.gradients(cost, tvars),                                   config.max_grad_norm)
# 用之前的变量learning rate来起始梯度下降优化器。
optimizer = tf.train.GradientDescentOptimizer(self.lr)
# 一般的minimize为先取compute_gradient,再用apply_gradient
# 这里我们不需要compute gradient, 所以直接等于叫了minimize函数的后半段。
self._train_op = optimizer.apply_gradients(zip(grads, tvars))##

上面代码注释已就框架进行了解释。但我有意的留下了一个最为关键的部分没有解释,即variable_scope以及reuse_variable函数。

该类函数有什么特殊意义呢?我们这里先卖个关子,下面的内容会就这个问题深入探究。模型建立好后该类还有其他如assign_lr(self,session,lr_value)以及property函数如input_data(self). 这些函数浅显易懂,就不在这里解释了。之后,官方代码设计了小模型(原论文中没有regularized的模型)外,还原了论文里的中等模型以及大模型。这些模型是基于同样的框架,不过不同在迭代数,神经元数以及dropout概率等地方。另有由于小模型的keep_prob概率被设计为1,将不会运用dropout。

另外,由于系统的运行是在terminal里输入”python 文件名 --参数 参数值“格式,名为get_config()的函数的意义在于把用户输入,如small,换算成运用SmallConfig()类。最后,我们来看一看main函数以及run_epoch函数。首先来看下run_epoch:

def run_epoch(session, m, data, eval_op, verbose=False): 
""Runs the model on the given data.""" epoch_size = ((len(data) // m.batch_size) - 1) // m.num_steps start_time = time.time() costs = 0.0 iters = 0 state = m.initial_state.eval() # ptb_iterator函数在接受了输入,batch size以及运行的step数后输出 # 步骤数以及每一步骤所对应的一对x和y的batch数据,大小为  [batch_size, num_step] for step, (x, y) in enumerate(reader.ptb_iterator(data, m.batch_size,                                                 m.num_steps)): # 在函数传递入的session里运行rnn图的cost和 fina_state结果,另外也计算eval_op的结果 # 这里eval_op是作为该函数的输入。   cost, state, _ = session.run([m.cost, m.final_state, eval_op],                              {m.input_data: x,                               m.targets: y,                               m.initial_state: state})   costs += cost   iters += m.num_steps   # 每一定量运行后输出目前结果   if verbose and step % (epoch_size // 10) == 10:     print("%.3f perplexity: %.3f speed: %.0f wps" %         (step * 1.0 / epoch_size, np.exp(costs / iters),          iters * m.batch_size / (time.time() - start_time)))     return np.exp(costs / iters)
该函数很正常,逻辑也比较清晰,容易理解。现在,让我们重点看看我们的main函数:
  def main(_):
# 需要首先确认输入数据的path,不然没法训练模型
if not FLAGS.data_path:  
raise ValueError("Must set --data_path to PTB data directory")
# 读取输入数据并将他们拆分开
raw_data = reader.ptb_raw_data(FLAGS.data_path) train_data, valid_data, test_data, _ = raw_data
# 读取用户输入的config,这里用具决定了是小,中还是大模型
config = get_config() eval_config = get_config() eval_config.batch_size = 1eval_config.num_steps = 1
# 建立了一个default图并开始session
with tf.Graph().as_default(), tf.Session() as session:
#先进行
initializationinitializer = tf.random_uniform_initializer(-config.init_scale,                                             config.init_scale)
#注意,这里就是variable scope的运用了!
with tf.variable_scope("model", reuse=None, initializer=initializer):   m = PTBModel(is_training=True, config=config)
with tf.variable_scope("model", reuse=True, initializer=initializer):   mvalid = PTBModel(is_training=False, config=config)   mtest = PTBModel(is_training=False, config=eval_config)  tf.initialize_all_variables().run()for i in range(config.max_max_epoch):  
# 递减learning rate   lr_decay = config.lr_decay ** max(i - config.max_epoch, 0.0)   m.assign_lr(session, config.learning_rate * lr_decay)  
#打印出perplexity   print("Epoch: %d Learning rate: %.3f" % (i + 1, session.run(m.lr)))   train_perplexity = run_epoch(session, m, train_data, m.train_op,                                verbose=True)   print("Epoch: %d Train Perplexity: %.3f" % (i + 1, train_perplexity))   valid_perplexity = run_epoch(session, mvalid, valid_data, tf.no_op())   print("Epoch: %d Valid Perplexity: %.3f" % (i + 1, valid_perplexity))  test_perplexity = run_epoch(session, mtest, test_data, tf.no_op()) print("Test Perplexity: %.3f" % test_perplexity)

还记得之前卖的关子么?这个重要的variable_scope函数的目的其实是允许我们在保留模型权重的情况下运行多个模型。首先,从RNN的根源上说,因为输入输出有着时间关系,我们的模型在训练时每此迭代都要运用到之前迭代的结果,所以如果我们直接使用(cell_output, state) = cell(inputs[:, time_step, :], state)我们可能会得到一堆新的RNN模型,而不是我们所期待的前一时刻的RNN模型。

再看main函数,当我们训练时,我们需要的是新的模型,所以我们在定义了一个scope名为model的模型时说明了我们不需要使用以存在的参数,因为我们本来的目的就是去训练的。而在我们做validation和test的时候呢?训练新的模型将会非常不妥,所以我们需要运用之前训练好的模型的参数来测试他们的效果,故定义reuse=True。这个概念有需要的朋友可以参考Tensorflow的官方文件对共享变量的描述。

好了,我们了解了这个模型代码的架构以及运行的机制,那么他在实际运行中效果如何呢?让我们来实际测试一番。由于时间问题,我只运行了小模型,也就是不用dropout的模型。

运行方式为在ptb_word_lm.py的文件夹下输入:

python ptb_word_lm.py --data_path=/tmp/simple-examples/data/ --model small。

这里需要注意的是你需要下载simple-examples.tar.gz包,下载地址点击这里。

运行结果如下:

这里简便的放入了最后结果,我们可见,在13个epoch时,我们的测试perplexity为117.605, 对应了论文里non-regularized LSTM的114.5,运行时间约5到6小时。

原文发布于微信公众号 - 人工智能LeadAI(atleadai)

原文发表时间:2018-01-30

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏SeanCheney的专栏

Numpy和MatplotlibPython科学计算——Numpy线性代数模块(linalg)随机模块(random)Python的可视化包 – Matplotlib2D图表3D图表图像显示

Python科学计算——Numpy Numpy(Numerical Python extensions)是一个第三方的Python包,用于科学计算。这个库的前身...

3814
来自专栏人人都是极客

第四课:模型的使用

上一节我们创建了模型对象,也导入了测试集,可以说实现了一个简单机器学习的apk环境和核心代码。这一节我们一起看下开发一个完整的人工智能应用程序需要哪些步骤和代码...

3085
来自专栏编程

用Python进行速度预测

这次分享一段数据特征挖掘准备工作的套路~ 数据格式是这样的: ? task 预测值:速度 特征值: Region 区域 Length 长度Volume 流...

2299
来自专栏QQ音乐前端团队专栏

前端图片主题色提取

对于需要根据用户“定制”、“生成”的图片,这样的方式就有了一个上传图片---->后端计算---->返回结果的时间,等待时间也许就比较长了。由此,我尝试着利用 c...

58813
来自专栏奇点大数据

Pytorch神器(4)

上一次,我们用最简短的篇幅讲述了用Pytorch实现线性回归的过程。整个程序仅仅用了约60多行就完成了一个线性回归机器学习程序的全部内容。这次的文章,我们来对上...

703
来自专栏大学生计算机视觉学习DeepLearning

手指静脉细化算法过程原理解析 以及python实现细化算法

1284
来自专栏肖洒的博客

基于OpenCV全景拼接(Python)

翻译自https://www.pyimagesearch.com 基于OpenCV(Python)的图片拼接和全景图构建。“缝合”两张有重叠区域的图来创建一张全...

1232
来自专栏数说工作室

【SAS Says】基础篇:基本统计、相关分析与回归分析

特别说明:本节【SAS Says】基础篇:SAS宏初步,用的是数说君学习《The little SAS book》时的中文笔记,我们认为这是打基础的最好选择 S...

3005
来自专栏落影的专栏

Metal图像处理——直方图均衡化

首先,我们用直方图来表示一张图像:横坐标代表的是颜色值,纵坐标代表的是该颜色值在图像中出现次数。

2553
来自专栏大数据挖掘DT机器学习

R语言关联规则可视化:扩展包arulesViz的介绍

关联规则挖掘是一种流行的数据挖掘方法,在R语言中为扩展包arules。然而,挖掘关联规则往往导致非常多的规则,使分析师需要通过查询所有的规则才能发现有趣的规则。...

3308

扫码关注云+社区