深度学习——RNN(3)

前言:在语言结构中,由于词语之间是存在时序关系的,所以RNN在语言处理方面发挥着很大的优势,下面构建一个最简单的RNN结构来实现一个给定几个单词预测下一个单词是什么。实现的关键是对单词和数字之间的相互转换。 详细代码可见:https://github.com/dctongsheng/vocab_predict_rnn 读取数据:

def read_data(filename):
    with open(filename) as f:
        content = f.readlines()
        #去掉空格
        content = [x.strip() for x in content]
        #得到单词
        content_size = len(content)
        print(content_size)
        words = [content[i].split() for i in range(content_size)]
        words = np.array(words)
        # 将格式转换,认为一行一个样本,一个样本中的序列长度未知,每个时刻一个对应的单词或者符号
        words = np.reshape(words,[-1,])

将单词转化为字典的形式

def build_dataset(words):
    count = collections.Counter(words).most_common()
    print(count)
    dicts = {}
    k=0
    # return count
    for word,_ in count:
        dicts[word] = k
        k+=1
    reves_dict = dict(zip(dicts.values(),dicts.keys()))
    return dicts,reves_dict

构建网络结构,采用深层的rnn结构,静态加载数据

def rnn(x):
    x = tf.reshape(x,[-1,n_inputs])
    x = tf.split(x,n_inputs,1)
    rnn_cell = tf.nn.rnn_cell.MultiRNNCell(cells=[tf.nn.rnn_cell.LSTMCell(num_units=n_hidden1),
                                                  tf.nn.rnn_cell.GRUCell(num_units=n_hidden2),
                                                  tf.nn.rnn_cell.BasicRNNCell(num_units=n_hidden3)])
    output,state = tf.nn.static_rnn(rnn_cell,x,dtype=tf.float32)
    output=output[-1]
    return tf.matmul(output, weights['out']) + biases['out']

定义损失函数

pred = rnn(x)
cost = tf.reduce_mean(tf.nn.softmax_cross_entropy_with_logits(logits=pred,labels=y))
train = tf.train.RMSPropOptimizer(learning_rate=learn_rate).minimize(cost)

定义准确率

cp = tf.equal(tf.argmax(pred,1),tf.argmax(y,1))
accury = tf.reduce_mean(tf.cast(cp,tf.float32))

运行模型,运行模型过程中,对x,y的构造如下

        keys = [dicts[str(train_data[i])] for i in range(offset,offset+n_inputs)]
        keys = np.reshape(np.array(keys), [-1, n_inputs, 1])
        #构建y
        out_one_hot = np.zeros([vocab_size],dtype=np.float32)
        out_one_hot[dicts[str(train_data[offset+n_inputs])]] =1.0
        out_one_hot = np.reshape(out_one_hot,[1,-1])
        # 训练
        _,_acc,_cost,_pred=sess.run([train,accury,cost,pred],feed_dict={x:keys,y:out_one_hot})

输出结构如下:

可以看到当运行到10000词的时候准确率已经上来了,并且连续的三次输出的结果都预测正确了

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏机器学习和数学

[编程经验] SciPy之图像处理小结

Python中可以处理图像的module有很多个,比如Opencv,Matplotlib, Numpy, PIL以及今天要分享的SciPy。其他几个后续都会总结...

8317
来自专栏PaddlePaddle

【进阶篇】Recurrent Group教程

导语 PaddlePaddle 高度支持灵活和高效的循环神经网络配置。接下来的进阶篇推文将围绕RNN模型展开,指导你如何在 PaddlePaddle 中配置和使...

3615
来自专栏码云1024

游戏中的人物是如何寻路的?

2227
来自专栏机器之心

教程 | 在Python和TensorFlow上构建Word2Vec词嵌入模型

选自adventuresinmachinelearning 机器之心编译 参与:李诗萌、刘晓坤 本文详细介绍了 word2vector 模型的模型架构,以及 T...

4747
来自专栏ATYUN订阅号

四个用于Keras的很棒的操作(含代码)

Keras是最广泛使用的深度学习框架之一。它在易于使用的同时,在性能方面也与TensorFlow,Caffe和MXNet等更复杂的库相当。除非你的应用程序需要一...

1814
来自专栏机器学习算法工程师

Tensorflow快速入门

作者:叶 虎 编辑:李文臣 PART 01 Tensorflow简介 引言 实践深度学习肯定要至少学习并掌握一个深度学习框架。这里我们介绍一个最流行的深度学习框...

4619
来自专栏利炳根的专栏

学习笔记CB013: TensorFlow、TensorBoard、seq2seq

tensorflow基于图结构深度学习框架,内部通过session实现图和计算内核交互。

4547
来自专栏码云1024

a-start寻路算法

在英雄联盟之中,当你和你的队友都苦苦修炼到十八级的时候,仍然与敌方阵营不分胜负,就在你刚买好装备已经神装的时候,你看见信息框中一条队友的消息:“大龙集合”,这个...

3462
来自专栏技术随笔

[RNN] Simple LSTM代码实现 & BPTT理论推导

4864
来自专栏贾老师の博客

启发式寻路算法

5643

扫码关注云+社区

领取腾讯云代金券