【两分钟论文#19】递归神经网络创作音乐和模仿莎士比亚写小说

视频内容

亲爱的同学们,这是károly fajir的两分钟论文。

人工神经网络是非常有用的工具,能够学习和识别图像上的物体或学习梵高的绘画风格,并以他的风格绘制新的画作。

今天我们将讨论递归神经网络(RNN)。那么递归(recurrent)部分是什么意思?

使用人工神经网络,我们通常在输入和输出之间具有一对一的关系。这意味着一个图像进来,一个分类结果出来,无论图像描绘人脸还是火车。

使用递归神经网络,我们可以有一对多的关系。输入仍然是一个图像,但输出不会是一个单词,而是一个单词的序列,描述了我们在图像上看到的一个句子。

对于多对一的关系,一个很好的例子是情绪分析,这意味着例如句子的输入序列被分类为负或正。

这对于处理电影评论非常有用,我们想知道用户喜欢或讨厌电影,而无需阅读数十页的讨论页面。

最后,递归神经网络也可以处理将输入序列转换为输出序列的多对多关系。这样做的例子可以是机器翻译,其输入句子并将其转换为不同语言的输出句子。

对于多对多关系的另一个例子,让我们看看在阅读托尔斯泰《战争和和平》小说之后,算法学到了什么,要求它以这种风格写出来,应该注意的是,生成一本新的小说是通过字母的形式发生的,所以算法不允许记住单词。

我们来看看培训过程不同阶段的结果。最初的结果是很好的,但是算法似乎立刻意识到这些词基本上是一大堆被空格分开的字母。

如果我们稍等一会儿,我们看到它开始对结构有一个非常初步的了解。例如打开的引号必须关闭,句子可以被句号关闭,后面跟着一个大写字母开头。

后来,它开始学习更短和更常见的词,如fall,that,the,for,me。

如果我们等待更长时间,我们看到它已经掌握了较长的单词,已经开始有意义的短句子。

这是莎士比亚风格的作品片段,算法通过阅读他的所有作品之后生成的。你看到有意义的名字,你真的必须彻底检阅文本,以得出结论,这确实不是真正的莎士比亚片段。

它也可以尝试写数学论文,我不得不查看相当一段时间,直到我意识到有些东西是不对头的。我认为它可以非常容易地欺骗非专家的读者。你能相信吗?这很疯狂!

它还能够学习Linux操作系统的源代码,并生成看起来很合理的新代码。

它也可以继续撰写这首歌,迪士尼冰雪皇后的《Let it Go》。

所以递归神经网络是令人惊奇的工具,开辟了全新的视野,用于解决输入或输出不是一个东西,而是一系列东西的问题。现在一个递归神经网络正在展示它的智慧。

"Well, your wit is in the care of side and that."

无论你走到哪里,都要记住这一点。

感谢观看,下次再见!

RNN和LTSM资源:

Andrej Karpathy's original article is available here:

http://karpathy.github.io/2015/05/21/rnn-effectiveness/

Source code:

https://github.com/karpathy/char-rnn

The paper "Long Short-Term Memory" by Sepp Hochreiter and Jürgen Schmidhuber is available here:

http://deeplearning.cs.cmu.edu/pdfs/Hochreiter97_lstm.pdf

Continuing "Let It Go" from Disney with a recurrent neural network:

https://ericye16.com/music-rnn/](https://ericye16.com/music-rnn/

A great write-up on how LSTMs work:

http://colah.github.io/posts/2015-08-Understanding-LSTMs/

了解更多: 探索LSTM:基本概念到内部结构

原文发布于微信公众号 - 星流全栈(MeteorFullStack)

原文发表时间:2017-06-12

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏大数据挖掘DT机器学习

解析滴滴算法大赛---GBDT进行数据预测

按照前面文章的方法进行数据预测,完全不使用POI,天气,交通情况的数据,可以达到0.43的成绩。 不过如果想要获得更好的成绩,简单的预测方法显然无法满足要求了。...

1.4K10
来自专栏智能算法

机器人算法专题介绍

算法 算法(Algorithm)是指解题方案的准确而完整的描述,是一系列解决问题的清晰指令,算法代表着用系统的方法描述解决问题的策略机制。也就是说,能够对一定规...

4446
来自专栏新智元

【面试107问】谷歌等巨头机器学习面试题:从逻辑回归到智力测验

【新智元导读】很多人都想知道,谷歌、微软、Facebook 这样的顶级科技公司,在面试大数据机器学习工程师时会问些什么问题。可惜的是,这些公司的面试者事先都要签...

4367
来自专栏机器之心

谷歌微软等科技巨头数据科学面试107道真题:你能答出多少?

选自Learndatasci 机器之心编译 参与:李泽南 来自 Glassdoor 的最新数据可以告诉我们各大科技公司最近在招聘面试时最喜欢向候选人提什么问题。...

2857
来自专栏生信小驿站

TCGA生存分析②

接上文,Kaplan-Meier曲线有助于可视化两个分类组之间的生存差异,当你设置参数pval = TRUE时,可以获得的对数秩检验值有助于探讨不同组之间的生存...

2004
来自专栏AI科技大本营的专栏

AI 技术讲座精选:数学不好,也可以学习人工智能(四)——图解张量

【AI100 导读】本文是《数学不好,也可以学习人工智能》系列的第四篇文章,主要内容围绕 Tensors(张量)展开。 ? 现在的你是否已经下载好 Tensor...

4856
来自专栏华章科技

烧脑:谷歌微软等巨头107道数据科学面试题,你能答出多少?

来自 Glassdoor 的最新数据可以告诉我们各大科技公司最近在招聘面试时最喜欢向候选人提什么问题。首先有一个令人惋惜的结论:根据统计,几乎所有的公司都有着自...

1091
来自专栏PPV课数据科学社区

【黑科技】数据分析师的秘密-QQ聊天记录分析(三)

? 上两篇分析了群的活跃状况,成员活跃状况,以及一些文本的分析,包括词云,聊天关键字, 实体识别,情感分析等等,这篇只围绕一个问题来,那就是提取谈话内容的问题...

3315
来自专栏大数据挖掘DT机器学习

一个贯穿图像处理与数据挖掘的永恒问题

作者: 左飞 著有《算法之美——隐匿在数据结构背后的原理(C++版)》 原文 http://blog.csdn.net/baimafujinji/articl...

2443
来自专栏AI研习社

从 App 描述介绍文字中发掘 Python 文本数据预处理实例

除了数据清洗和数据探索的主题外,许多有效的NLP(自然语言处理)分析都是依赖于对文本数据的预处理。因此,我决定手把手展现一个对来自苹果App Store简述的文...

2203

扫码关注云+社区

领取腾讯云代金券