机器学习和应用统计学在金融行业的应用

聊起 AI，画面都充斥着机械语言：精密高级的芯片，光怪陆离的智能产业……你眼中的 AI 有什么样的能力？能给传统行业带来哪些变革与发展？基于此，腾讯云开发者社区联手知乎科技，从知乎AI 与传统行业相关话题中精选内容落地社区专题「 AI 与传统行业的融合 」。

本文为“AI 将如何影响金融”的精华内容分享。

作为一个半科技半财务从业者，今天我想谈谈人工智能应用在金融领域的一些现象，以及我的一些观察。此处的人工智能特指以机器学习和应用统计学为主的模型，只是人工智能下的一个分支。

首先金融/经济学本身是就是复杂的理论学科，在计量领域早已大量的使用了统计手段，而且越来越多的机器学习手段也被用于学术研究。但放眼到企业，和在短时间内，暂时很难有人工智能大规模发挥的空间。在利润率较高、数据结构化较好、问题定义明确的一些金融模型方面，机器学习会大行其道。人工智能模型已经较为广泛的被对冲基金所使用，如Simplex Equity的Self-learning 模型 [2]，在未经人工干预的前提下实现了在英国退欧时就抛售了日本期货。这并不是孤例，彭博社去年的一篇文章就分析了AI对于Quant的冲击 [3]。这就属于我们所定义的利润率高且有数据积累的领域，因此金融公司愿意投入财力和人力进行开发。

同时，在金融领域使用数据挖掘的过程中，有很高的可能性发现系统性的规律或者违反现有规律的地方，从而反哺理论学科。因此金融公司在人工智能研究中很可能发现/证实/证伪一些经济学规律。随着整个人工智能生态环境的逐步进步，机器学习或是其他人工智能手段，如自然语言处理，能够更好的服务于金融/经济学理论发展。

我认为用机器学习来为金融机构创造利润，现阶段面临以下问题问题：

1. 机器学习模型的可解释性低

举个例子，机器学习在工业界最流行的模型就是逻辑回归和决策树，是因为这两个模型的准确度/表现最好么？不是，因为这两个模型具有可解释性和可视化，这对于管理者/监管者来说太重要了。同样，在经济学领域模型的可解释化也很重要，毕竟经验科学很难被当做理论来证明。现阶段的大部分机器学习模型都面临效果不错但很难解释的问题。越来越多的论文在尝试提高模型的可解释性，比如 "Why Should I Trust You?": Explaining the Predictions of Any Classifier [1]，就尝试证明了通过通用手段来证明机器学习模型的正确性。仅当这个领域继续发展以后，我们才能更好的使其落地，让使用者不必时时刻刻抱有怀疑。

金融公司往往要求极高的可解释性，这点比其他行业要求更高。以我最近为某金融公司做的模型为例，客户要求每一步决策都需要有对应解释，因此大部分现有模型都不适合，难度很大。

2. 机器学习问题的定义难

现阶段比较被业界广泛应用的机器学习还是监督学习，而监督学习要求有明确的问题定义。而现在看起来很有希望的强化学习，迁移学习等还并不能大规模普及应用。

以简单的监督学习为例，如果你想建立一个模型来预测企业并购是否会影响公司股价，那么你需要提供大量并购数据，以及并购后股价是否发生了变动。理想情况下，在收集足够多的并购消息和股价变动信息后，做自然语言分析后提取特征放到机器学习模型里面就大功告成了。

然而在实际情况中：我们无法给出明确的问题定义和边界。如果想用机器学习来制定一个股票交易策略，那么需要考虑进去多少因素？只考虑并购消息就够了么？越多的相关因素越可以提高模型的拟合性和准确性。如宏观政策和微观的具体情况都会影响到股价的波动，漏掉其中一个都会造成一定的影响，往往是多多益善。在这种情况下，每个问题都需要大量人和数据来支撑，这也是为什么大量用人工智能来预测股票走势的探索都无疾而终的原因。

现阶段或者可预见的未来，在很多具体的问题上不大可能出现这种明确的定义和范围。

3. 数据的结构化程度差

机器学习模需要结构化的数据，至少是电子数据。金融领域的大数据化，甚至是数据结构化都还有很长的路的要走。以审计为例，很多公司还有大量的票据都不能无纸化，更不要提AI能够消化的电子数据了。前一阵子我司开发一个面试AI，但是并没有原始数据可以直接使用。于是我们让12个刚入职的员工花了一周时间把我们保留的面试视频逐字逐句的转译到文字+特征，整个过程苦不堪言。

即使相关结构化数据存在，往往也不在同一个地方，而整合数据也是非常昂贵的。很多企业有多个ERP系统，很难将相关数据高效整合，因此往往项目无疾而终或者面临较长的数据收集周期。

4. 人才断层与投机

人工智能的火爆，或者说是近些年深度学习掀起的老树开花，并没有来得及为行业储存大量的专业人才。不难看出，大量一流AI/ML人才还是被互联网公司一网打尽，(Hinton在谷歌Lecun在FB)，而留给金融服务类公司的人才并不多。

同时，在很长的时间里面，计算机和金融学之间的联系相对比较薄弱。让一个计算机背景的人开发金融领域的数据模型，难度可想而知。作为一个计算机背景的从业者，我个人对于金融/经济学的理解还处于比较肤浅的状态，只理解基本的概念和原理。同样的，金融服务类从业者又缺乏对于AI模型和统计的了解。因此使用AI来推动金融学发展需要大量跨领域的人才，至少需要两个方向都懂的项目经理。

而在人才上的投资产出在现阶段还不成正比，短时间内难以获得收益。在这种情况下，每个问题都需要大量人和数据来支撑。因此研究探索型的、不能产生利润的方向很少有公司来投资AI来进行研究的。换言之，有财力提供AI研究的金融公司不多，小型的金融机构或者学术机构又缺乏资源（资金，技术人才，数据积累）来进行相关系统的研究。

5. 总结

机器学习对于金融行业的改变可能还需要取决于跨领域人才量上升。一方面，计算机科学家从科技公司转向金融公司，着手解决落地问题。另一方面，金融领域培养出了足够多的能够理解机器学习的从业者。在二者的结合下，我们对于更加智能且自动化的金融机器学习模型可以充满期待。换个角度来看，金融从业者不该盲目转行到科技领域从事数据工作，而应补足相关知识，让人工智能在金融领域更好的落地，从而带来更大的价值。

[1] Ribeiro, M.T., Singh, S. and Guestrin, C., 2016, August. Why should i trust you?: Explaining the predictions of any classifier. In Proceedings of the 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining (pp. 1135-1144). ACM.

[2] https://www.bloomberg.com/news/articles/2016-08-21/hedge-fund-robot-outsmarts-human-master-as-ai-passes-brexit-test

[3] 人工智能基金 跑贏大市 - Focus On - 彭博商業周刊

作者：微调

链接：https://zhuanlan.zhihu.com/p/33964842

来源：知乎 著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。