专栏首页量化投资与机器学习科研型Quant:流水线模式的量化研究

科研型Quant:流水线模式的量化研究

量化投资与机器学习微信公众号,是业内垂直于量化投资、对冲基金、Fintech、人工智能、大数据等领域的主流自媒体。公众号拥有来自公募、私募、券商、期货、银行、保险、高校等行业20W+关注者,连续2年被腾讯云+社区评选为“年度最佳作者”。

Advances in Financial Machine Learning的作者,著名的量化大佬,Marcos Lopez de Prado昨天在AI&Data Science in Trading的线上论坛,分享了其对于量化职业发展的主题演讲《Escaping The Sisyphean Trap: How Quants Can Achieve Their Full Potential》。

从初入量化行业所可能遇到的问题和挑战,谈到了当前量化机构的两种模式,投资经理模式和流水线模式。

作者认为,在机器学习时代,流水线模式的量化研究更适合Quant的职业发展。像科研一样做量化策略的研究,才是最符合这个时代量化投资机构的发展路径。

金融行业技术及人才需求的变革

Marcos首先回顾了过去100多年,投资行业所使用的技术和所需技能的演进。

20世纪初,投资交易主要是由投机占主导,没有系统的金融理论,更没有计算机,数据也非常有限。即使涉及到数学,所使用也都是非常简单的数学模型,更多的是采用技术分析。这个时期,投资管理的从业人员基本没有接受专业的训练,投资决策主要依靠故事或主题。

20世纪50年代开始,经济学家开始关注怎么对经济和金融系统进行建模。系统性的金融理论开始得到发展,比如现代组合管理理论,资产定价理论等。专业的金融分析师开始在投资决策中占主导,他们利用基本面分析及计量经济学的方法进行投资决策。在这个阶段CFA成为金融认证的黄金标准。

2000年开始,随着技术的发展,包括算力、数据存储及互联网的发展,还有数学建模的发展,市场微观结构也在这时候成为很多高频交易的理论工具。这时候开始,很多投资管理的公司开始倾向雇用STEM专业的毕业生进行研究及技术开发。但这时候,大部分的Quant还是Q side。

2015年以来,随着机器学习的发展及另类数据的爆发,Quant的研究也从定价转向了预测,机构对于机器学习、数据科学家及自动化专家的需求达到了新高度。

是什么推进了这个变革,Marcos总结了三个方面:数据、算法和算力。数据正以指数级的速度增加,根据IDC的估算,过去两年产生的数据总量,已经占到了历史所有数据总量的90%以上。这当中有80%的数据是非结构化数据,在处理非结构化数据又需要强大的机器学习算法和算力。这三个方面共同的作用,是对科学背景的人才的高需求。金融投资行业的数据处理,对数据科学家提出了很高的挑战。

金融研究的五大困境

与传统的科学研究相比,金融研究存在了哪些困难与挑战?Marcos阐述了金融研究相比科学研究最显著的五个困境:

实验的障碍:相对于传统科研,量化策略的研究并没有那么明显的因果推断关系,很难使用传统的控制变量法。

非平稳的数据:金融系统是一个动态的系统,金融市场的数据大多是非平稳,这种非平稳性往往是市场结构的变化所导致的,比如监管的变化、投资者结构的变化等。非平稳性带来很多问题,会导致预测的不可靠及多发的黑天鹅事件等等。如下图所示,在数据存在结构性突变的情况下,依据历史数据预测未来的可行性就大大降低。

严苛的竞争:不同为科学研究上创新性的竞争,能够提高生产力。策略的研究,本质上是一个零和的游戏,是一种内卷,这种竞争降低了金融市场的信噪比。比如一样策略研究的发表会使其在将来失去有效性,增加了有效策略挖掘的难度,加快了alpha的衰减。

系统的复杂性:金融系统是一个复杂的系统,传统的统计学假设我们知道每一个变量的分布,及变量之间的相关性。但这些假设都是不现实的,特别是第二个假设。我们知道金融市场的数据存在层级性、高纬度等未知的特性,某一个相关性的错误假设都会导致模型的失败,得出错误的结论。

少量的样本:虽然说金融市场有大量数据,但相对系统的复杂性,数据还是不够,更何况这些数据还存在序列自相关,及多个序列之间的相互依赖。这就造成了大量假阴性研究结果的出现。

如何克服困境:像科研人员一样工作

面对以上困境,什么样的研究体系能够有助Quant直面这些挑战呢?Marcos首先明确表示传统的投资经理主导的模式(称为Silos模式)阻碍的Quant的发展,及投资者利益的最大化。什么是Silos模式呢?传统的机构会雇用独立的投资团队,这个团队通常由一个投资经理及几个研究员组成,不同的投资团队之间相互独立(确切说是相互竞争)。团队共用公司的研究平台及技术设施(如数据API、风控系统及回测交易设施),独立研发策略,对策略研发的整个生命周期负责,并根据策略的表现获得相应报酬。在这种模式下,团队之间没有任何激励去进行合作,而是存粹的竞争关系。采用这个模式的公司希望通过竞争达到团队的分散化,但这种模式存在如下明显的缺点:

  • 有限的研究深度,造成很多Alpha都是肉眼可见且衰退极快;
  • 有限的策略覆盖范围,每个团队只能开发有限的策略,且重复性很高;
  • 策略IP无法归属公司,没有知识留存及迭代的机制;
  • 缺少团队合作的科研氛围。

所以,Solios模式的公司很难适合想做科研一样做量化研究的Quant。Solios公司需要的是通才而不是专才。在某方面突出的Quant,进入这类公司会有专才变成通才,每天花费很多时间在重复性的工作上,比如回测、数据整理,而在策略创新方面失去动力。Marcos把这种情况比作了Quant的西西弗斯困境。

与Silos模式对立的是另一种模式,Marcos称之为Big Science模式或Assembly Line模式,把策略的研究作为一个系统化的科学研究工作,在这样一个框架下精细化分工,每个来自不同专业背景的角色承担整个系统的某一个细分部分的工作。美国著名物理学家Ernest Lawrence在1931年创立了伯克利实验室,就通过跨专业团队的合作解决了很多在大学里很难解决的问题。

以实验室的形式,通过不同分工进行量化研究,是Marcos所推崇的模式,他认为这种模式相对Solios模式有很大的优点:

Assembly Line模式把整个量化研究分成了多个部分,具体可以参考Marcos的书《Advances in Financial Machine Learning》。以下为部分截图,整个生产线主要包括:研究、策略及生产三个大部分。每个部分有分为多个角色,比如研究中有特征分析的角色主要从海量数据中挖掘因子。生产中,有负责部署的角色,也有负责订单执行的角色。

在这种模式下,量化研究更像是一个科研人员,为了解决整个系统中某一个部分的优化而不断努力研究,最终掌握的是一种技能,而不是一个策略。团队成员间的合作,更利于解决更困难的问题,挖掘更优质的Alpha。独立的策略测试团队,更能保证策略的有效性,避免了策略的过拟合。在没有组合经理这个角色的情况下,团队更扁平,更具自我纠错的能力。

Marcos认为,在这样一个Quant研究朝向团队合作发展的情景下,2-3人的量化团队将更难生存,因为随着技术及算法的发展,很难有人能够独自掌控整个量化策略研究到生产的全过程,即使有这样的人,在面对大型团队的时候,也几乎没有竞争优势,这样的团队在未来将很难生存。

回到国内量化机构

关于国内量化机构采用的管理模式,之前公众号在知乎上也看到广泛的讨论,有些大的机构从发展初期就确定了流水线模式。有些机构则依赖几个核心的投资经理,不断扩大规模。

关于投资经理模式(Silos)/ 流水线模式(Assembly Line)在国内的情况,欢迎大家在评论区讨论。

本文分享自微信公众号 - 量化投资与机器学习(Lhtz_Jqxx),作者:QIML编辑部

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2021-09-08

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 一名Quant的自白

    作者:石川 | 北京量信投资管理有限公司创始合伙人,清华大学学士、硕士,麻省理工学院博士。量化投资与机器学习微信公众号量化专栏特约作者。

    量化投资与机器学习微信公众号
  • 想当Quant?呵呵~

    最近,很多人问我们关于量化求职这件事。公众号觉得有必要把之前的一些总结再给大家看看。QuantNet如期公布了2020全美最佳金融工程(MFE)专业的排名。大家...

    量化投资与机器学习微信公众号
  • 编程再好也只能当码农?那你肯定不知道AI量化程序员

    量化,一个横跨多个学科领域的工作。已经在不同场合,听了无数次的三座大山:较好的数学功底、编程技能、金融知识。

    abs_zero
  • 成为一个AI量化程序员首先要了解的四点

    量化,一个横跨多个学科领域的工作。已经在不同场合,听了无数次的三座大山:较好的数学功底、编程技能、金融知识。

    量化小白
  • 量化交易领域最缺的人才!

    如今,量化研究人员正在开发算法,利用机器学习,这些算法可以通过分析客户数据、识别特征,从而为客户推荐出最相关的产品/服务。今天这篇文章是关于量化交易领域的人才市...

    量化投资与机器学习微信公众号
  • 性能不打折,内存占用减少90%,Facebook提出极致模型压缩方法Quant-Noise

    我们都知道,对于神经网络来说,参数量越大、层数越多,就代表着输出的结果越精细。当然,这也意味着许多性能优越的神经网络体积会非常庞大。比如当前的标准机器翻译架构 ...

    机器之心
  • 啥是佩琪?恕我直言,搞量化这样配齐!

    近期,有很多读者从知乎、微信后台留言,问我们从事量化行业,应该掌握哪些技能,有哪些要求,我们综合公众号这几年的推文和行业调研,给大家做一个简单回答。

    量化投资与机器学习微信公众号
  • 那些没成为物理学家的PhD们,后来都去了华尔街

    量化投资与机器学习微信公众号
  • 【重磅发布】2018中国量化投资年度盘点

    公众号尽量从多个维度去进行编写,同时也参考了各大数据平台,确保数据的准确性。我们希望让国内量化爱好者尽可能多的去了解这个行业的发展现状。公众号创办3年来,也一直...

    量化投资与机器学习微信公众号
  • 业余Quant劝退信

    很多人都知道我业余时间在做Quant,而且真的有自己的真金白银在线上交易。还有Quant网红BBQ在持续忽悠广大码农业余做量化。或许你也想过要不要业余时间做Qu...

    量化投资与机器学习微信公众号
  • 年度宽客 (2000 - 2019)

    前几天看到了 Quant of the Year 2019 颁布的新闻,回想从 2015 年开始自学机器学习时就没关注这个了,因为这个奖项通常都是 Q-quan...

    用户5753894
  • 业界 | 摩根大通报告12个亮点总结:金融领域的机器学习工具有哪些?

    选自eFinancialCareers 作者:Sarah Butcher 机器之心编译 参与:李泽南、吴攀 金融机构由于面临激烈的竞争压力,需要不断对自身结构...

    机器之心
  • 【推荐收藏】倾心整理的Python量化资源大合集

    随着Python编程语言的流行和普及,越来越多人对如何应用Python做金融数据分析和量化交易充满兴趣。但是不少人对量化投资本身存在一定的误解或认识不清,有的人...

    量化小白
  • 学界 | 南科大翁文康:「量子霸权」的基础概念和可行方案

    论文:Quantum supremacy: some fundamental concepts

    机器之心
  • 针对Quant的Python快速入门指南

    最近有越来越多的朋友在知乎或者QQ上问我如何学习入门Python,就目前需求来看,我需要写这么一篇指南。

    用Python的交易员
  • 【金猿案例展】某基金管理公司:智能量化投资平台建设

    本案例由九章云极投递并参与评选,数据猿独家全网首发;更多关于【金猿榜/奖·2019征集评选】的相关信息,请点击这里了解详情丨征案例、征文章、征产品=评企业、评人...

    数据猿
  • 解读宽客和量化交易的世界

    本文为带你走入宽客和量化交易的世界,让你对宽客这类人群以及量化交易有一个相对清晰的了解。

    abs_zero
  • Quant必备:学什么、哪家面试难、哪家挣大钱?公众号告诉你~

    如果你想成为投资银行或对冲基金的量化研究员,传统的计算机科学硕士学位并不总是有用。各个大学纷纷响应对量化交易员和研究员的高需求,推出了结合金融、数学和工程的专业...

    量化投资与机器学习微信公众号
  • 一文厘清机器学习、深度学习、统计与概率论的区别

    除了风格与Supervised/Unsupervised Learning截然不同的Reinforcement Learning以外,大家虽然知道机器学习已不再...

    IT派

扫码关注云+社区

领取腾讯云代金券