教你用深度学习LSTM网络预测流行音乐趋势(附代码)

来源:大数据挖掘DT数据分析

本文长度为1500字,建议阅读5分钟

本文为你介绍LSTM网络原理及其在流行音乐趋势预测赛题中的应用。

一、 LSTM网络原理

1.1 要点介绍

  • LSTM网络用来处理带“序列”(sequence)性质的数据。比如时间序列的数据,像每天的股价走势情况,机械振动信号的时域波形,以及类似于自然语言这种本身带有顺序性质的由有序单词组合的数据。
  • LSTM本身不是一个独立存在的网络结构,只是整个神经网络的一部分,即由LSTM结构取代原始网络中的隐层单元部分。
  • LSTM网络具有“记忆性”。其原因在于不同“时间点”之间的网络存在连接,而不是单个时间点处的网络存在前馈或者反馈。如下图2中的LSTM单元(隐层单元)所示。图3是不同时刻情况下的网络展开图。图中虚线连接代表时刻,“本身的网络”结构连接用实线表示。

1.2 LSTM单元结构图

图4,5是现在比较常用的LSTM单元结构示意图:

其主要结构成分包含如下:

  • 输入节点input node:接受上一时刻隐层单元的输出及当前时刻是样本输入;
  • 输入门input gate:可以看到输入门会和输入节点的值相乘,组成LSTM中internal state单元值的一部分,当门的输出为1时,输入节点的激活值全部流向internal state,当门的输出为0时,输入节点的值对internal state没有影响。
  • 内部状态internal state。
  • 遗忘门forget gate:用于刷新internal state的状态,控制internal state的上一状态对当前状态的影响。

各节点及门与隐藏单元输出的关系参见图4,图5所示。

二、代码示例

运行环境:windows下的spyder 语言:python 2.7,以及Keras深度学习库。

由于看这个赛题前,没有一点Python基础,所以也是边想思路边学Python,对Python中的数据结构不怎么了解,所以代码写得有点烂。但整个代码是可以运行无误的。这也是初赛时代码的最终版本。

2.1 示例介绍

主要以今年参加的“2016年阿里流行音乐趋势预测”为例。

时间过得很快,今天已是第二赛季的最后一天了,我从5.18开始接触赛题,到6.14上午10点第一赛季截止,这一期间,由于是线下赛,可以用到各种模型,而自已又是做深度学习(deep learning)方向的研究,所以选择了基于LSTM的循环神经网络模型,结果也很幸运,进入到了第二赛季。开始接触深度学习也有大半年了,能够将自已所学用到这次真正的实际生活应用中,结果也还可以,自已感觉很欣慰。突然意识到,自已学习生涯这么多年,我想“学有所成,学有所用”该是我今后努力的方向和动力了吧。

下面我简单的介绍一下赛题: 官方给的“输入”,共两张表:

  • 一张是用户行为表(时间跨度20150301-20150830)mars_tianchi_user_actions,主要描述用户对歌曲的收藏,下载,播放等行为;
  • 一张是歌曲信息表mars_tianchi_songs,主要用来描述歌曲所属的艺人,及歌曲的相关信息,如发行时间,初始热度,语言等。

样例:

样例:

官方要求“输出”:预测随后2个月(20150901-20151030)每个歌手每天的播放量。输出格式:

2.2 初赛所用模型思路

由于是对歌手的播放量进行预测,所以直接对每个歌手的“播放量”这一对象进行统计,查看在20150301-20151030这8个月内歌手的播放量变化趋势,并以每天的播放量,连续3天的播放均值,连续3天的播放方差,作为一个时间点的样本,“滑动”构建神经网络的训练集。网络的构成如下:

  • 输入层:3个神经元,分别代表播放量,播放均值,播放方差;
  • 第一隐层:LSTM结构单元,带有35个LSTM单元;
  • 第二隐层:LSTM结构单元,带有10个LSTM单元;
  • 输出层:3个神经元,代表和输入层相同的含义。

目标函数:重构误差。

下图是某些歌手的播放统计曲线:

2.2 预测结果

蓝色代表歌手真实的播放曲线,绿色代表预测曲线:

参考文献

  • LSTM入门介绍比较好的文章:A Critical review of rnn for sequence learning
  • LSTM学习思路,参见知乎的一个介绍,很详细:https://www.zhihu.com/question /29411132
  • Python入门视频教程—可看南京大学张莉老师在coursera上的公开课《用Python玩转数据》,有例子介绍,很实用:https://www. coursera.org/learn/hipython/home/welcome
  • Keras介绍—参看官方文档 http://keras.io/

原文地址:

http://blog.csdn.net/u012609509/article/details/51910405

编辑:黄继彦

原文发布于微信公众号 - 数据派THU(DatapiTHU)

原文发表时间:2017-12-11

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏机器之心

ECCV 2018 | 中山大学&商汤提出部分分组网络PGN,解决实例级人体解析难题

识别每个语义部分(如手臂、腿等)是人体解析中最基本、最重要的一部分。不仅如此,它还在许多高级应用领域中发挥了重要的作用,例如视频监控 [38]、人类行为分析 [...

2094

超级网络

在这篇文章中,我将介绍一下我们最近的文章[1609.09106] HyperNetworks。我作为Google Brain Resident工作在这篇论文上-...

3417
来自专栏ATYUN订阅号

YOLO—实时对象检测的新视角

近几年,在深入学习的帮助下, 目标检测领域取得了巨大的进步。对象检测是标识图像中的对象并在其周围绘制边界框的任务, 也就是定位它们。在计算机视觉由于其众多的应用...

3615
来自专栏数据派THU

一文助你解决90%的自然语言处理问题(附代码)

作者:Emmanuel Ameisen 来源:机器之心 本文为大家解析了人工智能领域中的自然语言如何处理。 自然语言处理(NLP)与计算机视觉(CV)一样,是...

3843
来自专栏小小挖掘机

深度强化学习-Policy Gradient基本实现

在之前的几篇文章中,我们介绍了基于价值Value的强化学习算法Deep Q Network。有关DQN算法以及各种改进算法的原理和实现,可以参考之前的文章: 实...

7166
来自专栏机器之心

KDD 2018 | 腾讯提出用于文本匹配的多信道信息交叉模型,在真实任务中表现优异

4592
来自专栏机器之心

如何解决90%的自然语言处理问题:分步指南奉上

3818
来自专栏从流域到海域

浅谈应用型机器学习作为一种搜索问题

原文地址:https://machinelearningmastery.com/applied-machine-learning-as-a-search-pro...

30010
来自专栏大数据文摘

我在谷歌大脑见习机器学习的一年:Node.js创始人的尝试笔记

1773
来自专栏TensorFlow从0到N

TensorFlow从0到1 - 13 - AI驯兽师:神经网络调教综述

在未来的AI时代,“手工程序”将变得越发稀有,而基于通用AI程序,通过大数据“习得”而生的程序,会无所不在。到那时,程序员将光荣卸任,取而代之的是一个新职业物...

4407

扫码关注云+社区

领取腾讯云代金券