股票预测,自动翻译,你想要的它都能做——RNN算法探索之旅(1)

近几年,华尔街不断裁员,高盛在2000年顶峰时期,雇佣了600名交易员,为其机构客户进行股票买卖。但时至今日,却仅剩下2名交易员“看守”柜台。

不仅高盛,瑞银、摩根士丹利等金融公司,目前都已采用机器学习算法替代普通交易员,来进行交易。

那,什么样的算法如此厉害?

它能够预测股价走势

不仅如此,

它还能搭建聊天机器人、可以翻译外文、可以写新闻稿、写小说……

这个看起来无所不能的算法,就是:循环神经网络,简称RNN

本系列教程将以RNN为主线,总共分为3个部分:

  • RNN算法之预备知识:前馈神经网络(FFNN)
  • 初识RNN算法
  • RNN算法之变体:长短期记忆(LSTM)

今天是系列教程的第1部分:

RNN算法之预备知识:前馈神经网络(FFNN)

在讲RNN之前,首先引入前馈神经网络的部分内容,是因为了解了FFNN,再学习RNN会更加容易,遇到的阻力更小。

如果你已经对前馈神经网络很熟悉,直接跳过此部分内容。

好啦,话不多说,下面开始我们今天的内容。


先来看这样一组数据:

这只是我们随机编写的一些数字,它很简单,不使用任何模型算法,你也能轻而易举地找到x-y之间的规律:

但是如果,

我们一定要用神经网络来计算的话,

那么,这个神经网络可以简单地搭建为:

先别晕,我们举个例子,你就明白上面的逻辑了。

以第1条数据为例:

  • 输入层,让模型读入第1条数据“4”
  • 输出层,告诉模型其结果为“36”
  • 隐藏层,就像连接“输入”和“输出”之间的桥梁

这个模型的核心:就是努力找到x与y之间的联系

比如,

图中的 "1" 和 “9”,就是模型找到的其中一种连接方法。

更一般的,

如果你拥有数据(X,Y),神经网络算法就会去寻找最佳的参数W:

求解W,就是这条神经网络会替我们努力完成的工作。

上面的图,写成公式为:

注:两个公式中的w,数值可能不相同。

这就是一条最简单的神经网络。

当然,更多的时候,你在教材上看到的是这样的:

如果我们将参数b暂时遮挡住:

“公式二”与“公式一”之间,仅仅多出一个f()函数。

这个f()函数,在学术上被称为“激活函数”,通常是一个非线性的函数。

例如,

像上面这些,均可以作为激活函数来使用。

你会问:

“为什么我们要使用激活函数?”

这是因为,

(w*X) 和 (w*h) 仅仅是线性运算:

而我们在现实中遇到的问题,更多都是非线性的

这就好比,

家到学校,理论上是两点一线的距离;

但现实中,你要曲曲弯弯走很多路,才能抵达终点:

因而,在w*X的外面,包裹上一层激活函数

f(w*X)

可以将线性问题转化为非线性问题,这样更接近真实的世界,也能使我们的模型预测准确度,得到大幅提升。

好了,前面我们一直讨论的是一条数据的情形,即

现在,如果我们把t+1条数据,全部考虑进来:

那么此时,

神经网络的形态变为:

由图可以看出,

它是t+1条数据的“堆叠”。

你会发现,像这样的神经网络,它只有横向箭头

并没有纵向箭头

即“第t条数据,并不受之前数据的影响”。

你可以视它为一条“一直向前,永不回望”的神经网络,

也因此而得名“前馈神经网络”。

我们单拎出第t条数据:

此时,ht仅受Xt的影响。

在实际工作中,它适用于“上一条数据与下一条数据,彼此之间没有任何关联”的情形。

举几个例子:

图像分类

第1张图与第2张图之间,并无关联。

薪水等的预测

第1条职位所提供的薪水,并不决定第2条职位薪水的高低。

电影推荐

第1部电影的好坏,并不影响第2部电影是否受观众的欢迎。

上面这些例子,都可以借助前馈神经网络来解决。但有些例子则不然。

下一期,我们进一步来了解“会回望的”神经网络——循环神经网络(RNN)。

原文发布于微信公众号 - AI传送门(aiportal)

原文发表时间:2017-10-10

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏新智元

NIPS-16 | 无监督学习“感知分组”概念获突破,深度学习或迎来变革

【新智元导读】神经网络在图像中的物体识别上准确率做到75%,这是来自芬兰的一群研究员在NIPS2016 上公布的最新成果。他们使用的核心概念是“感知分组” (P...

3516
来自专栏AI科技评论

学界 | ImageNet 带来的预训练模型之风,马上要吹进 NLP 领域了

AI 科技评论按:对于计算机视觉领域的研究人员、产品开发人员来说,在 ImageNet 上预训练模型然后再用自己的任务专用数据训练模型已经成了惯例。但是自然语言...

1023
来自专栏企鹅号快讯

康奈尔博士后黄高:如何设计高效地卷积神经网络

AI 科技评论按:卷积神经网络则是深度学习最具代表性的模型,在计算机视觉和自然语言翻译等领域有着极其广泛的应用。随着精度以及复杂度的逐步提升,卷积网络的推理效率...

2946
来自专栏AI科技大本营的专栏

知乎大神周博磊:用“Network Dissection”分析卷积神经网络的可解释性

当地时间 7 月 22 日,备受瞩目的 CVPR 2017 最佳论文在夏威夷会议中心揭晓。本届 CVPR 2017 共有两篇最佳论文(分别被康奈尔和清华团队、以...

3907
来自专栏机器之心

GMIS 2017大会邓力主题演讲:无监督学习的最新进展

机器之心原创 记者:蒋思源 全球机器智能峰会(GMIS 2017),是全球人工智能产业信息服务平台机器之心举办的首届大会,邀请了来自美国、欧洲、加拿大及国内的众...

2836
来自专栏竹清助手

AI的背景知识及机器学习

约6千字,主要内容为机器学习的几大分类及其基本内涵,后续我会补充关于AI的应用场景、相关技术领域(如计算机视觉、自然语言处理等)的总结。由于目前正在学习,比较严...

1103
来自专栏新智元

首次超越LSTM : Facebook 门卷积网络新模型能否取代递归模型?

【新智元导读】Facebook 在尝试使用“门卷积网络”的方法来为语言建模,最近,他们首次取得了超过递归神经网络方法建模方法的性能表现,性能了超越目前被认为是...

2365
来自专栏SIGAI学习与实践平台

机器学习-波澜壮阔40年

人工智能的再次兴起让机器学习(Machine Learning)这个名词进入了公众的视野,它成为当前解决很多人工智能问题的核心基石。

491
来自专栏量子位

你的广告能打几分?Kaggle需求预测挑战赛冠军方案这样做丨教程

我们每天在网页上看到的各种电商广告,到底够不够吸引人?4个月前Kaggle和“俄罗斯版58同城”Avito办了个需求预测挑战赛,预测不同的广告能吸引用户多大的购...

874
来自专栏小詹同学

深入浅出谈谈深度学习~

深度学习第①篇(文末附大量资料) ? 一、深度学习的起源与概念 深度学习的概念由Hinton等人于2006年提出。深度学习可以简单理解为传统神经网络的拓展。如下...

3346

扫码关注云+社区