资源 | 利用深度强化学习框架解决金融投资组合管理问题(附 GitHub 实现)

选自GitHub

作者:Zhengyao Jiang、Dixing Xu、Jinjun Liang

机器之心编译

参与:路雪

近日,《A Deep Reinforcement Learning Framework for the Financial Portfolio Management Problem》的作者开源了该论文的项目代码。这篇文章关于如何利用深度强化学习进行投资组合管理,提出的 DRL 框架性能大大优于其他算法。机器之心对论文摘要进行了简要翻译,附 GitHub 实现。

论文链接:https://arxiv.org/abs/1706.10059

GitHub 地址:https://github.com/ZhengyaoJiang/PGPortfolio

论文:A Deep Reinforcement Learning Framework for the Financial Portfolio Management Problem(使用深度强化学习框架解决金融投资组合管理问题)

摘要:金融投资组合管理是将资金不断分配到不同的金融产品,以期获得更大累计收益的过程。本文展示了一个不使用金融模型的强化学习框架,为投资组合管理问题提供深度机器学习解决方案。该框架包括 EIIE(Ensemble of Identical Independent Evaluators)拓扑、投资组合内存(Portfolio-Vector Memory,PVM)、在线随机批量学习(Online Stochastic Batch Learning,OSBL),和针对即时奖励的奖励函数。本研究中该框架在三种情况下得到实现:卷积神经网络(CNN)、基础循环神经网络(RNN)和长短期记忆网络(LSTM)。它们和大量近期评审或公布的投资组合选择策略经历了三次后验测试实验,实验中加密货币市场的交易周期是 30 分钟。加密货币是一种去中心化的电子货币,其中最著名的就是比特币。该框架的三种实例在所有实验中稳稳占据前三名的位置,优于其他交易算法。尽管后验测试中的佣金率高达 0.25%,该框架仍然能够在 50 天内使收益至少是原来的 4 倍。

GitHub 实现

这是我们的论文《A Deep Reinforcement Learning Framework for the Financial Portfolio Management Problem》的最新实现版本,还包括了 Li 和 Hoi 在综述论文中提到的一些其他投资组合管理算法。

  • 深度强化学习框架是本库的核心。该方法的基础是即时奖励上的梯度下降。你可以在独立的 json 文件中配置拓扑、训练方法或输入数据。训练过程将被记录,用户可以通过 tensorboard 看到训练过程。
  • 更好的超参数优化需要结果摘要和并行训练。
  • 出于对比的目的,本库还嵌入了基于金融模型的投资组合管理算法,其实现基于 Li 和 Hoi 的工具包 OLPS。

论文版本区别

注:本库是我们主项目的一部分,比 arxiv v2 论文的实现高数个版本。

  • 该版本修复了一些技术 bug,对超参数和工程做了一些改进。
  • arxiv v2 论文中最大的 bug 是:论文提到的测试时间比真实的时间短 30%。
  • 使用新的超参数,用户可以快速训练模型(少于 30 分钟)。
  • 论文后续版本将包含所有更新。
  • 该开源版本不包括原始版本历史和内部讨论(包括一些代码注释)。部分想法尚未实现,可能成为我们未来论文的基础,所以暂不公布。

平台支持

Windows 系统:Python 3.5+;Linux 系统:Python 2.7+/3.5+。

依赖项

通过 pip install -r requirements.txt 安装依赖项

  • tensorflow (>= 1.0.0)
  • tflearn
  • pandas
  • ...

用户手册

  • https://github.com/ZhengyaoJiang/PGPortfolio/blob/master/user_guide.md
  • https://github.com/ZhengyaoJiang/PGPortfolio/wiki/User-Guide

本文为机器之心编译,转载请联系本公众号获得授权。

原文发布于微信公众号 - 机器之心(almosthuman2014)

原文发表时间:2017-11-21

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏目标检测和深度学习

听说了吗?你也可以在18分钟内训练ImageNet了

该团队的主要训练方法是:fast.ai 用于分类任务的渐进式调整大小和矩形图像验证;英伟达的 NCCL 库,该库整合了 PyTorch 的 all-reduce...

1134
来自专栏人工智能头条

本周必看 | 7月ML&Python 最佳开源项目Top 10 :从几百个项目中脱颖而出,都在收藏!

【导读】七月就要结束了,在即将到来的 7 月最后一个周末,人工智能头条为大家整理了本月 ML 和 Python 最受欢迎的十大开源项目。就算放假在家也可以知道大...

1273
来自专栏数据派THU

精选 Github 近期13款开源工具包!(附数据集、链接)

本文共1700字,建议阅读6分钟。 本文为你精选近期Github上的13款深度学习开源工具包和数据集,一起Star和Fork吧~

1858
来自专栏AI研习社

从星际2深度学习环境到神经机器翻译,上手机器学习这些开源项目必不可少

本文主要编译于 Github 文章「Getting started with machine learning」(原文链接:https://github.com...

36011
来自专栏AI研习社

Github 项目推荐 | Tensorflow.js 进化建模

这是 Siraj Raval 在 Youtube 上用 Tensorflow.js 实现Evolution建模的代码。

1624
来自专栏新智元

第一个手机端分布式深度学习系统,设计自动化顶会 DATE 最佳论文

【新智元导读】欧洲最大的设计自动化会议 DATE 昨天在瑞士洛桑召开。杜克大学陈怡然教授组关于移动平台深度学习计算的研究荣获嵌入式软件类最佳论文。陈怡然等人提出...

4828
来自专栏媒矿工厂

HDR关键技术:主要标准介绍

HDR是UHD技术中最重要维度之一,带来新的视觉呈现体验。HDR技术涉及到采集、加工、传输、呈现等视频流程上的多个环节,需要定义出互联互通的产业标准,以支持规模...

3692
来自专栏AI科技大本营的专栏

AI 技术讲座精选:如何创建简易且能分辨垃圾邮件的ML分类器

在本篇教程中,我们会先提出要解决的问题,然后再利用名为朴素贝叶斯分类器(NaiveBayes Classifier)的机器学习技术解决相应的问题,非常简单。本篇...

3333
来自专栏大数据挖掘DT机器学习

美团推荐算法实践:机器学习重排序模型

本文介绍了美团网推荐系统的构建和优化过程中的一些做法,包括数据层、触发层、融合过滤层和排序层五个层次,采用了HBase、Hive、storm、Spark和...

6326
来自专栏美团技术团队

美团技术团队博客:推荐算法实践

前言 推荐系统并不是新鲜的事物,在很久之前就存在,但是推荐系统真正进入人们的视野,并且作为一个重要的模块存在于各个互联网公司,还是近几年的事情。 随着互联网的深...

48611

扫码关注云+社区

领取腾讯云代金券