阿里流行音乐趋势预测-深度学习LSTM网络实现代码分享

一、 LSTM网络原理

  1. 要点介绍 (1)LSTM网络用来处理带“序列”(sequence)性质的数据,比如时间序列的数据,像每天的股价走势情况,机械振动信号的时域波形,以及类似于自然语言这种本身带有顺序性质的由有序单词组合的数据。 (2)LSTM本身不是一个独立存在的网络结构,只是整个神经网络的一部分,即由LSTM结构取代原始网络中的隐层单元部分。 (3)LSTM网络具有“记忆性”。其原因在于不同“时间点”之间的网络存在连接,而不是单个时间点处的网络存在前馈或者反馈。如下图2中的LSTM单元(隐层单元)所示。图3是不同时刻情况下的网络展开图。图中虚线连接代表时刻,“本身的网络”结构连接用实线表示。

2.LSTM单元结构图 图4,5是现在比较常用的LSTM单元结构示意图:

其主要结构成分包含如下: (1)输入节点input node:接受上一时刻隐层单元的输出及当前时刻是样本输入; (2)输入门input gate:可以看到输入门会和输入节点的值相乘,组成LSTM中internal state单元值的一部分,当门的输出为1时,输入节点的激活值全部流向internal state,当门的输出为0时,输入节点的值对internal state没有影响。 (3)内部状态internal state。 (4)遗忘门forget gate:用于刷新internal state的状态,控制internal state的上一状态对当前状态的影响。 各节点及门与隐藏单元输出的关系参见图4,图5所示。

二、代码示例

代码地址:

在公众号 datadw 里 回复 音乐 即可获取。

运行环境:windows下的spyder 语言:python 2.7,以及Keras深度学习库。

由于看这个赛题前,没有一点Python基础,所以也是边想思路边学Python,对Python中的数据结构不怎么了解,所以代码写得有点烂。但整个代码是可以运行无误的。这也是初赛时代码的最终版本。

  1. 示例介绍 主要以今年参加的“2016年阿里流行音乐趋势预测”为例。 时间过得很快,今天已是第二赛季的最后一天了,我从5.18开始接触赛题,到6.14上午10点第一赛季截止,这一期间,由于是线下赛,可以用到各种模型,而自已又是做深度学习(deep learning)方向的研究,所以选择了基于LSTM的循环神经网络模型,结果也很幸运,进入到了第二赛季。开始接触深度学习也有大半年了,能够将自已所学用到这次真正的实际生活应用中,结果也还可以,自已感觉很欣慰。突然意识到,自已学习生涯这么多年,我想“学有所成,学有所用”该是我今后努力的方向和动力了吧。 下面我简单的介绍一下赛题: 官方给的“输入”:2张表,一张是用户行为表(时间跨度20150301-20150830)mars_tianchi_user_actions,主要描述用户对歌曲的收藏,下载,播放等行为,一张是歌曲信息表mars_tianchi_songs,主要用来描述歌曲所属的艺人,及歌曲的相关信息,如发行时间,初始热度,语言等。

样例:

样例:

官方要求“输出”:预测随后2个月(20150901-20151030)每个歌手每天的播放量。输出格式:

2.初赛所用模型思路 由于是对歌手的播放量进行预测,所以直接对每个歌手的“播放量”这一对象进行统计,查看在20150301-20151030这8个月内歌手的播放量变化趋势,并以每天的播放量,连续3天的播放均值,连续3天的播放方差,作为一个时间点的样本,“滑动”构建神经网络的训练集。网络的构成如下: (1)输入层:3个神经元,分别代表播放量,播放均值,播放方差; (2)第一隐层:LSTM结构单元,带有35个LSTM单元; (3)第二隐层:LSTM结构单元,带有10个LSTM单元; (4)输出层:3个神经元,代表和输入层相同的含义。 目标函数:重构误差。 下图是某些歌手的播放统计曲线:

2.预测结果 蓝色代表歌手真实的播放曲线,绿色代表预测曲线:

参考文献

1.LSTM入门介绍比较好的文章:A Critical review of rnn for sequence learning 2.LSTM学习思路,参见知乎的一个介绍,很详细:https://www.zhihu.com/question/29411132 。 3.Python入门视频教程—可看南京大学张莉老师在coursera上的公开课《用Python玩转数据》,有例子介绍,很实用。https://www.coursera.org/learn/hipython/home/welcome。 4.Keras介绍—参看官方文档http://keras.io/

via:http://blog.csdn.net/u012609509/article/details/51910405

原文发布于微信公众号 - 大数据挖掘DT数据分析(datadw)

原文发表时间:2017-12-05

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏PPV课数据科学社区

编程 | 用python作信用卡欺诈预测

一、项目简介 Credit Card Fraud Detection https://www.kaggle.com/dalpozz/creditcardfrau...

33560
来自专栏华章科技

最全机器学习种类讲解:监督、无监督、在线和批量学习都讲明白了

这些标准之间互相并不排斥,你可以以你喜欢的方式将其任意组合。例如,现在最先进的垃圾邮件过滤器可能是使用深度神经网络模型对垃圾邮件和常规邮件进行训练,完成动态学习...

23010
来自专栏专知

基于TensorFlow的机器学习速成课程25讲视频全集(04-06讲)

【导读】前些日子,大家都知道,Google 上线了基于 TensorFlow 的机器学习速成课程,它包含 40 多项练习、25 节课程以及 15 个小时的紧凑学...

426110
来自专栏机器之心

ICASSP 2018 | 阿里巴巴Oral论文:用于语音合成的深度前馈序列记忆网络

阿里巴巴语音交互智能团队 机器之心发布 作者:毕梦霄/Mengxiao Bi,卢恒/Heng Lu,张仕良/Shiliang Zhang,雷鸣/Ming Lei...

36560
来自专栏达观数据

干货分享丨基于半监督学习技术的达观数据文本过滤系统

社交、直播、论坛、电商等各类平台每天都会产生海量UGC(User Generated Content),其中不可避免地混杂有大量垃圾文本。这些内容不但严重影响用...

38170
来自专栏大数据挖掘DT机器学习

用python作信用卡欺诈预测

一、项目简介 Credit Card Fraud Detection https://www.kaggle.com/dalpozz/creditcardfr...

49560
来自专栏数据派THU

20篇顶级深度学习论文(附链接)

本文讲述了深度学习正值快速发展进化阶段,新技术,新工具以及新的应用实现正在深刻改变着机器学习领域并不断获得累累硕果。

14530
来自专栏IT派

机器学习新手常犯的6大错误

在刚入门的时候,均方误差作为损失函数是很好的默认选择。但是当需要处理现实问题的时候,这种未经专门设计的损失函数很少能给出最优解。

11700
来自专栏机器之心

ECCV 2018 | 中山大学&商汤提出部分分组网络PGN,解决实例级人体解析难题

识别每个语义部分(如手臂、腿等)是人体解析中最基本、最重要的一部分。不仅如此,它还在许多高级应用领域中发挥了重要的作用,例如视频监控 [38]、人类行为分析 [...

26550
来自专栏小小挖掘机

深度强化学习-Policy Gradient基本实现

在之前的几篇文章中,我们介绍了基于价值Value的强化学习算法Deep Q Network。有关DQN算法以及各种改进算法的原理和实现,可以参考之前的文章: 实...

75960

扫码关注云+社区

领取腾讯云代金券