专栏首页数据派THU独家 | 一文了解强化学习的商业应用2

独家 | 一文了解强化学习的商业应用2

作者:Aishwarya Srinivasan, Deep Learning Researcher

翻译:赵雪尧

较对:丁楠雅

本文约4000字,建议阅读10分钟。

本文介绍了强化学习在交易中的应用。

在上一篇文章中,我着重于从计算和数学视角理解强化学习,以及我们在业务中使用算法时面临的挑战。

在本文中,我将探讨强化学习在交易中的应用。金融行业一直在探索人工智能和机器学习的应用,但金融风险让人们不愿这么做。近年来,传统的算法交易得到了发展,如今高计算能力的系统已经实现了任务的自动化,但交易员们仍然要负责制定交易决策。一个股票购买算法模型可能会基于一份估值和增长指标条件清单,来定义一个“买入”或“卖出”信号,然后由交易员定义的某些特定规则触发。

例如,这个算法可能很简单,只要在收盘时观察标准普尔指数比过去30天的高点还要高,就买入,或者该指数比过去30天的低点还低,就平仓。这些规则可以是趋势跟踪、反趋势或基于自然界的模式。不同的技术分析师不可避免地会对模式和确认条件有不同的定义。

为了使这种方法系统化,交易员必须指定精确的数学条件,以清楚地确定是否形成了头肩顶模式(译者注:头肩顶(Head & Shoulders Top)是股票价格和市场指数最为常见的倒转形态图表之一。头肩顶形态为典型的趋势反转形态,是在上涨行情接近尾声时的看跌形态,图形以左肩、头部、右肩及颈线构成[1]。),以及确定确认该模式的精确条件。

在当前金融市场的先进机器学习领域,我们可以看看在2017年10月亮相的EquBot公司的AI型交易所交易基金(AI-based Exchange Traded Funds ETFs )。EquBot将这些ETFs 自动化,收集来自数千家美国公司的市场信息、超过100万个市场信号、季度新闻文章和社交媒体帖子。

一个给定的ETF可能会选择30到70家有很高市场升值机会的公司,它将从每笔交易中继续学习。另一个知名的市场参与者Horizons也推出了类似的主动AI全球ETF (Active AI Global ETF),这款ETF利用包括交易员制定策略在内的监督机器学习技术开发而成。使用监督学习方法,人工交易员帮助选择阈值、解释延迟、估计费用等等。

Fig1:使用监督学习技术的交易流程图(译者注:纸交易(paper trading),即在模拟账户中进行交易[2]。)

当然,如果要完全自动化,人工智能驱动的交易模型必须比预测价格做得更多。它需要一个基于规则的策略,将股票价格作为输入,然后决定是买入、卖出还是持有。

2018年6月,摩根士丹利(Morgan Stanley)任命宾夕法尼亚大学(University of Pennsylvania)的计算机科学家迈克尔•卡恩斯(Micheal Kearns)担任首席执行官,以扩大人工智能的应用。在接受彭博社采访时,卡恩斯博士指出,“虽然标准的机器学习模型对价格进行预测,但它们没有具体说明行动的最佳时间、交易的最佳规模或交易对市场的影响。” 他补充说:“通过强化学习,你正在学习如何预测你的行为对市场状况的影响。”

强化学习允许端到端优化和最大化回报。至关重要的是,强化学习模型本身会调整参数,以使其接近最优结果。例如,我们可以想象,当下跌超过30%时,会产生巨大的负面回报,这迫使模型考虑使用另一个策略。我们也可以建立模拟来改善在关键情况下的反应。例如,我们可以在强化学习环境中模拟延迟,以便为模型生成负面激励。这种负面回报反过来又迫使模型学习应对延迟的变通方法。类似的策略允许模型随着时间的推移自动调整,不断地使其更强大和适应性更强。

Fig2:使用强化学习模型进行交易的流程图

在IBM,我们在DSX平台(IBM Data Science Experience (DSX))上建立了一个复杂的系统,利用强化学习的力量进行金融交易。该模型利用历史股票价格数据,通过在每一步中采用随机策略进行训练,并根据每笔交易的盈亏来计算回报函数。

“IBM数据科学体验平台(DSX)是一个企业数据科学平台,它为团队提供了最广泛的开源和数据科学工具,以满足任何技能需求,在多云环境中构建和部署任何地方的灵活性,以及更快地操作数据科学成果的能力。”

以下图表示了将强化学习方法与金融交易应用在一起的使用案例。

Fig3:强化学习交易模型

我们使用alpha指标(积极的投资回报,ROI)来衡量强化交易模型的表现,并根据代表市场整体走势的市场指数来评估投资的表现。最后,我们以一个简单的买入&持有策略模型和ARIMA-GARCH策略模型来进行模型评估对比。我们发现,该模型根据市场走势进行了非常精细的调节,甚至可以捕捉到头肩顶的模式,这些都是可以预示市场逆转的重要趋势。

强化学习可能并不适用于所有业务场景,但它捕捉金融交易微妙之处的能力肯定会显示出它的复杂性、威力和更大的潜力。

请继续关注我们在更多业务场景中测试强化学习的能力!

[1] 百度百科:

https://baike.baidu.com/item/%E5%A4%B4%E8%82%A9%E9%A1%B6

[2] https://www.avatrade.cn/education/trading-for-beginners/paper-trading.html

原文标题: Reinforcement Learning: The Business Use Case, Part 2 原文链接: https://www.kdnuggets.com/2018/08/reinforcement-learning-business-use-case-part-2.html

本文分享自微信公众号 - 数据派THU(DatapiTHU)

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2018-11-08

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 独家 | 一文读懂Adaboost

    本文是数据派研究部“集成学习月”的第二篇文章,本月将陆续发布关于集中学习的话题内容,月末将有答题互动活动来赢奖,欢迎随时留言讨论相关话题。 引言 在正儿八经地介...

    数据派THU
  • 独家 | 带你认识机器学习的的本质(附资料)

    本文总结了四种机器学习主流定义,分别从学习的优化过程、计算力、相似性和算法,研究了先驱者们和著名研究员们对机器学习本质的理解。

    数据派THU
  • 斯坦福&Google | 面向机器人的机器学习(附63页PPT下载)

    [ 导读 ]机器人在社会上有很多应用,比如今年双十一我们明显感到快递变得更快了!这背后就有分拣机器人的功劳~除此之外,机器人在搜救,太空探索,手术等很多方面都有...

    数据派THU
  • 观点 | AutoML、AutoKeras......这四个「Auto」的自动机器学习方法你分得清吗?

    让我们先来看一个简短的童话故事… 从前,有一个魔法师,他使用一种无人再使用的编程语言,在一种无人再使用的框架下训练模型。一天,一位老人找到他,让他为一个神秘的...

    机器之心
  • 人工智能六十年技术简史

    作者:李理,环信人工智能研发中心vp,十多年自然语言处理和人工智能研发经验。主持研发过多款智能硬件的问答和对话系统,负责环信中文语义分析开放平台和环信智能机器人...

    AI科技大本营
  • 写给大家看的机器学习书【Part1】

    用户1737318
  • 写给大家看的机器学习书(第一篇)

    作者:徐晗曦 来源:https://zhuanlan.zhihu.com/p/25328686 ? 1. 前言 这个世界不缺少专家,我只是期待他们中有一位能把...

    小莹莹
  • 深度 | 自动化机器学习将成为下一个AI研究主流?听听数据科学家怎么说

    AI科技评论按:在过去的一年当中,自动化机器学习已经成为一个众人感兴趣的话题。KDnuggets举办了一个关于该话题的博客大赛。结果喜人,有很多有意思的想法与项...

    AI科技评论
  • 机器学习工程师第一年的12点体会

    机器学习和数据科学都是广义上的术语,它们涉及超级多的领域以及知识,一位数据科学家所做的事情可能与另一位有很大的不同,机器学习工程师也是如此。通常使用过去(数据)...

    石晓文
  • 统计学习方法(一)——统计学习方法概论

    统计学习(statistical learning)是关于计算机基于数据构建概率统计模型并运用模型对数据进行预测和分析的一门学科。统计学习也称为统计机器学习(s...

    Tyan

扫码关注云+社区

领取腾讯云代金券