0
前言
本文的作者是我们熟悉的老朋友:Marcos Lopez de Prado
公众号第一次介绍Marcos Lopez de Prado,则是来自他一篇论文:《The 7 Reasons Most Machine Learning Funds Fail》,公众号进行了解读,详见:
此后我们还对他的另一篇论文进行了解读:《The 7 Reasons Most Econometric Investments Fail》,详见:
在国内大多数人眼中,最为出名的是他那本大名鼎鼎的《Advances in Financial Machine Learning》,堪称经典!
1
要点
1、金融领域的许多问题需要对变量或观察结果进行聚类:
2、尽管聚类很有用,但在计量经济学课程中几乎从未教授过它。
3、在今天的推文中,我们将回顾了两种常见的聚类方法:
4、不同特征/相似度度量将导致不同的聚类:
2
什么是
1、聚类指根据一定的准则,把一份事物按照这个准则归纳成互不重合的几份。机器学习中,聚类指按照一个标准,这个标准通常是相似性,把样本分成几份,使得相似程度高的聚在一起,相似程度低的互相分开。
2、聚类的方法很多,有基于分层的聚类,基于划分的聚类,基于密度的聚类。不同的方法有各自的特点,适用于不同分布的数据。有的适用于大数据集,能发现不同的任意形状的数据。有的算法简单,适用于小量数据集。众多方法中又有无监督学习,和半监督学习。
3、在金融领域,在投资过程的每一步都会自然而然地出现聚类问题。
具体的算法介绍这里不再叙述,接下来看一下与金融实际先关的一些应用。
3
因子投资/相对价值
4
特征的重要性分析
1、考虑一个包含40个特征的二元随机分类问题,其中5个特征是具有信息的,30个是冗余的,5个是噪声的:
2、聚类算法防止了替代效应对MDA或MDI分析的偏见:
寻找最优的集群数量:
将冗余的特征捆绑在一起,形成一个信息丰富的特征:
5
投资组合构建
1、当K个证券进行相关聚类时,凸优化方法(马科维茨、BL等)无法区分。
2、一个解决方案是应用NCO算法:
a. 对相关矩阵进行聚类。
b. 计算最优的簇内分配。
c. 计算最优的簇间分配。
d. 通过(b)和(c)的点积得到最优权值。
NCO算法介绍连接:https://papers.ssrn.com/sol3/papers.cfm?abstract_id=3469961
步骤a和b允许我们将一个“Markowitz问题转化为一个well-behaved的问题。
NCO计算的最大夏普比率组合为马科维茨RMSE的45.17%,即RMSE减少了54.83%。
6
相关矩阵
1、人们普遍认为,经验相关性包括:
2、此外,基于因子的相关矩阵有其自身的注意事项。特别是,估计的因子通常是:
3、我们可以从一个知识图中得到一个Forward-Looking相关矩阵:
Forward-Looking相关矩阵具体介绍:https://papers.ssrn.com/sol3/papers.cfm?abstract_id=3484152
顶部和底部实施理论隐含结构(GICS)之前和之后的相关矩阵图。
通过理论树状图添加信号,使相关模式更平滑、噪声更小,同时保留了层次结构。