Tensorflow深度学习LSTM实现的小说撰写预测damo

最近,在研究深度学习方面的知识,结合Tensorflow,完成了基于lstm的小说预测程序demo。

lstm是改进的RNN,具有长期记忆功能,相对于RNN,增加了多个门来控制输入与输出。原理方面的知识网上很多,在此,我只是将我短暂学习的tensorflow写一个预测小说的demo,如果有错误,还望大家指出。

1、将小说进行分词,去除空格,建立词汇表与id的字典,生成初始输入模型的x与y

def readfile(file_path): f = codecs.open(file_path, 'r', 'utf-8') alltext = f.read() alltext = re.sub(r'\s','', alltext) seglist = list(jieba.cut(alltext, cut_all = False)) return seglist def _build_vocab(filename): data = readfile(filename) counter = collections.Counter(data) count_pairs = sorted(counter.items(), key=lambda x: (-x[1], x[0])) words, _ = list(zip(*count_pairs)) word_to_id = dict(zip(words, range(len(words)))) id_to_word = dict(zip(range(len(words)),words)) dataids = [] for w in data: dataids.append(word_to_id[w]) return word_to_id, id_to_word,dataids def dataproducer(batch_size, num_steps): word_to_id, id_to_word, data = _build_vocab('F:\\ml\\code\\lstm\\1.txt') datalen = len(data) batchlen = datalen//batch_size epcho_size = (batchlen - 1)//num_steps data = tf.reshape(data[0: batchlen*batch_size], [batch_size,batchlen]) i = tf.train.range_input_producer(epcho_size, shuffle=False).dequeue() x = tf.slice(data, [0,i*num_steps],[batch_size, num_steps]) y = tf.slice(data, [0,i*num_steps+1],[batch_size, num_steps]) x.set_shape([batch_size, num_steps]) y.set_shape([batch_size, num_steps]) return x,y,id_to_word

2、建立lstm模型:

lstm_cell = tf.nn.rnn_cell.BasicLSTMCell(size, forget_bias = 0.5) lstm_cell = tf.nn.rnn_cell.DropoutWrapper(lstm_cell, output_keep_prob = keep_prob) cell = tf.nn.rnn_cell.MultiRNNCell([lstm_cell], num_layers)

3、根据训练数据输出误差反向调整模型

with tf.variable_scope("Model", reuse = None, initializer = initializer):#tensorflow

主要通过变量空间来实现共享变量

with tf.variable_scope("r", reuse = None, initializer = initializer): softmax_w = tf.get_variable('softmax_w', [size, vocab_size]) softmax_b = tf.get_variable('softmax_b', [vocab_size]) with tf.variable_scope("RNN", reuse = None, initializer = initializer): for time_step in range(num_steps): if time_step > 0: tf.get_variable_scope().reuse_variables() (cell_output, state) = cell(inputs[:, time_step, :], state,) outputs.append(cell_output) output = tf.reshape(outputs, [-1,size]) logits = tf.matmul(output, softmax_w) + softmax_b loss = tf.nn.seq2seq.sequence_loss_by_example([logits], [tf.reshape(targets,[-1])], [tf.ones([batch_size*num_steps])]) global_step = tf.Variable(0) learning_rate = tf.train.exponential_decay( 10.0, global_step, 5000, 0.1, staircase=True) optimizer = tf.train.GradientDescentOptimizer(learning_rate) gradients, v = zip(*optimizer.compute_gradients(loss)) gradients, _ = tf.clip_by_global_norm(gradients, 1.25) optimizer = optimizer.apply_gradients(zip(gradients, v), global_step=global_step)

4、预测新一轮输出

teststate = test_initial_state (celloutput,teststate)= cell(test_inputs, teststate) partial_logits = tf.matmul(celloutput, softmax_w) + softmax_b partial_logits = tf.nn.softmax(partial_logits)

5、根据之前建立的操作,运行tensorflow会话

sv = tf.train.Supervisor(logdir=None) with sv.managed_session() as session: costs = 0 iters = 0 for i in range(1000): _,l= session.run([optimizer, cost]) costs += l iters +=num_steps perplextity = np.exp(costs / iters) if i%20 == 0: print(perplextity) if i%100 == 0: p = random_distribution() b = sample(p) sentence = id_to_word[b[0]] for j in range(200): test_output = session.run(partial_logits, feed_dict={test_input:b}) b = sample(test_output) sentence += id_to_word[b[0]] print(sentence)

其中,使用sv.managed_session()后,在此会话间,将不能修改graph。如果采用普通的session,程序将会阻塞于session.run(),对于这个问题,我还是很疑惑,希望理解的人帮忙解答下。

代码地址位于https://github.com/summersunshine1/datamining/tree/master/lstm,运行时只需将readdata中文件路径修改即可。作为深度学习的入门小白,希望大家多多指点。

运行结果如下:

http://blog.csdn.net/u013453936/article/details/61196625

原文发布于微信公众号 - 大数据挖掘DT数据分析(datadw)

原文发表时间:2017-10-11

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏人工智能LeadAI

基于Tensorflow实现多层感知机网络MLPs

github:https://github.com/sladesha/deep_learning

12320
来自专栏Python中文社区

基于matplotlib的2D/3D抽象网格和能量曲线绘制程序

專 欄 ❈PytLab,Python 中文社区专栏作者。主要从事科学计算与高性能计算领域的应用,主要语言为Python,C,C++。熟悉数值算法(最优化方法,蒙...

29270
来自专栏PaddlePaddle

【序列到序列学习】带外部记忆机制的神经机器翻译

生成古诗词 序列到序列学习实现两个甚至是多个不定长模型之间的映射,有着广泛的应用,包括:机器翻译、智能对话与问答、广告创意语料生成、自动编码(如金融画像编码)...

35540
来自专栏AI研习社

玩过TensorFlow自带的的可视化工具么?(附源码)

TensorBoard 如何更直观的观察数据在神经网络中的变化,或是已经构建的神经网络的结构。上一篇文章说到,可以使用 matplotlib 第三方可视化,...

361100
来自专栏AI派

Numpy 修炼之道 (9)—— 广播机制

我们都知道,Numpy中的基本运算(加、减、乘、除、求余等等)都是元素级别的,但是这仅仅局限于两个数组的形状相同的情况下。

32930
来自专栏杨熹的专栏

TensorFlow 入门

---- CS224d-Day 2: 在 Day 1 里,先了解了一下 NLP 和 DP 的主要概念,对它们有了一个大体的印象,用向量去表示研究对象,用神经网络...

69140
来自专栏大学生计算机视觉学习DeepLearning

手指静脉细化算法过程原理解析 以及python实现细化算法

19640
来自专栏CDA数据分析师

教你一招:Python编写的最短路径算法

一心想学习算法,很少去真正静下心来去研究,前几天趁着周末去了解了最短路径的资料,用python写了一个最短路径算法。算法是基于带权无向图去寻找两个点之间的最短路...

500100
来自专栏TensorFlow从0到N

TensorFlow从1到2 - 5 - 非专家莫入!TensorFlow实现CNN

当看到本篇时,根据TensorFlow官方标准《Deep MNIST for Experts》,你已经达到Expert Level,要恭喜了。 且不说是否夸大...

1.7K90
来自专栏大学生计算机视觉学习DeepLearning

手指静脉细化算法过程原理解析 以及python实现细化算法

49550

扫码关注云+社区

领取腾讯云代金券