股票预测,自动翻译,你想要的它都能做——RNN算法探索之旅(2)

如果你想学会一种算法,它既能用来做聊天机器人,还能写诗,写新闻稿,最最重要的,它还能用来预测股价,帮你实现赚一个亿的小目标……

这么厉害的神器,它是谁?

答案就是:循环神经网络,简称RNN。

本系列教程将以RNN为主线,总共分为3个部分:

  • RNN算法之预备知识:前馈神经网络(FFNN)
  • 初识RNN算法
  • RNN算法之变体:长短期记忆(LSTM)

上一节课,我们已经简单了解了前馈神经网络,课程地址:

《股票预测,自动翻译,你想要的它都能做——RNN算法探索之旅(1)》

这一节,我们将学习本系列教程的第2部分:初识RNN算法。

好啦,话不多说,下面开始我们今天的内容。


先来看一组数据:

这组数据来自某只大A股2017年9月份的表现

跌得比较有节奏感

在前馈神经网络中,数据与数据之间,并不存在依存关系,即“下一条数据,并不依赖于之前数据的信息”。

但是,像上图中,这样的一组股票价格,你还能说“上一条数据与下一条没有关系”吗? (都已经跌出惯性了……)

我们在预测9月21日的价格时,不仅要参考9月20日的,还要参考9月18日的、9月17日的、……

此时,每一条数据,都受到之前数据的影响。

除了股价预测外,像搭建聊天机器人:

写新闻稿:

预测故事发展情节:

类似这样的数据,都是带有时间顺序的,即

都需要通过前面已经出现过的文字(或情节),来预测下一个文字(或片段)。

遇到这种情况,我们就需要借助循环神经网络(RNN)来处理。

RNN的运行原理,我们举一个很简单的例子来说明。

假设有这样一句话:

“我爱你们”

每次输入一个文字,我们都希望能预测出下一个即将出现的文字是什么?

这样的数据,写成表格的形式,即:

RNN的运算过程很简单,只要你耐心看完下面这张动图:

你会发现,RNN的运算,是这样一个流程:

如果我们将上图简化,它就是这个样子:

看出它与前馈神经网络的区别了吗?

循环神经网络,除了有前向箭头

外,

还有纵向箭头

即,对于循环神经网络来说,它的每一条数据演算,都会依赖于之前的数据。

我们会反复用到隐藏层所携带的信息:

此时,隐藏层ht不仅受Xt影响,还受上一时刻的ht-1的影响:

注意:ht是受 [Xt,ht-1] 的影响;

不是受 [Xt,Xt-1] 的影响。

因为,ht与Xt-1,可以被视为简单的硬连接。

举个不恰当但是特别好记的例子:

如果你的第二盘菜,准备做鱼香肉丝。

那么,使用第一盘已经切好的土豆丝,

要比直接使用原材料——土豆块,更省时、省力,对吧?

开个玩笑,

不管怎样,要记住:

RNN的隐藏层

是受 [Xt,ht-1] 的影响,而非[Xt,Xt-1]的影响。

希望今后,你再看到其他教材上的公式,会觉得更好理解了。

注:公式中的w,数值可能不同

在上面公式中,对于函数 f() 不了解的同学,可以参照上节课的学习内容:

《股票预测,自动翻译,你想要的它都能做——RNN算法探索之旅(1)》

至此,RNN的基本原理,我们已经学习完了。

下一节,我们重点来看长短期记忆(LSTM)算法,它是一种比RNN更加有效的算法,在预测股票价格等方面,有更好的表现。

好啦,我们下期见。

原文发布于微信公众号 - AI传送门(aiportal)

原文发表时间:2017-10-17

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏程序生活

卷积神经网络(CNN)介绍与实践

作为人类,我们不断地通过眼睛来观察和分析周围的世界,我们不需要刻意的“努力”思考,就可以对岁看到的一切做出预测,并对它们采取行动。当我们看到某些东西时,我们会根...

473
来自专栏机器学习算法全栈工程师

贝叶斯系列——贝叶斯与其他统计流派的区别和联系

作者:沈伟臣 编辑:张 欢 前言 了解概率统计的同学都知道有频率学派和贝叶斯学派两种统计流派,那么频率学派和贝叶斯学派到底有什么区别呢?本篇文章分为三部分...

28111
来自专栏SIGAI学习与实践平台

K近邻算法

原创声明:本文为 SIGAI 原创文章,仅供个人学习使用,未经允许,不得转载,不能用于商业目的。

941
来自专栏用户2442861的专栏

循环神经网络——实现LSTM

网络回忆:在《循环神经网络——介绍》中提到循环神经网络用相同的方式处理每个时刻的数据。

812
来自专栏郭佳伦的专栏

web 前端入门神经网络(一)

在神经网络中,激活函数和损失函数是决定 网络模型是否有效和学习速率的关键部分,这次没有展开说,我觉得对于刚接触的同学先不要纠结于此,自己把程序先跑起来,识别几种...

4560
来自专栏数据派THU

独家 | 一文读懂特征工程

本文结构 1. 概述 机器学习被广泛定义为“利用经验来改善计算机系统的自身性能”。事实上,“经验”在计算机中主要是以数据的形式存在的,因此数据是机器学习的前提...

2508
来自专栏IT派

LSTM入门详解

导语:长短期记忆(LSTM)是一种非常重要的神经网络技术,其在语音识别和自然语言处理等许多领域都得到了广泛的应用。在这篇文章中,Edwin Chen 对 LST...

3235
来自专栏AI科技评论

动态 | 谷歌发布TensorFlow Lattice:得益于先验知识,提升模型泛化能力

AI科技评论消息:近日,谷歌科学家发布TensorFlow Lattice,这是一套预建的TensorFlow Estimators,易于使用,它相当于是Ten...

33810
来自专栏绿巨人专栏

强化学习读书笔记 - 06~07 - 时序差分学习(Temporal-Difference Learning)

3046
来自专栏AI研习社

谷歌发布TensorFlow Lattice:得益于先验知识,提升模型泛化能力

AI研习社消息,近日,谷歌科学家发布TensorFlow Lattice,这是一套预建的TensorFlow Estimators,易于使用,它相当于是Tens...

3799

扫码关注云+社区