选股确率高达60%？大模型与财务报表的双向奔赴

量化投资与机器学习微信公众号，是业内垂直于量化投资、对冲基金、Fintech、人工智能、大数据等领域的主流自媒体。公众号拥有来自公募、私募、券商、期货、银行、保险、高校等行业30W+关注者，曾荣获AMMA优秀品牌力、优秀洞察力大奖，连续4年被腾讯云+社区评选为“年度最佳作者”。 这几天一篇论文被推到了风口浪尖（论文下载见文末）：

这篇论文的研究结论表明：即使在没有叙述上下文或特定行业信息的情况下，LLM在预测收益变化方面的表现超过了人类分析师。并且LLM的预测准确性与训练有素的、最先进的机器学习（ML）模型相当。

当然，LLM和人类分析师是互补的，而不是替代关系。LLM在分析数字数据时表现出色，而人类分析师在需要更广泛背景信息的情况下更有价值。

方法论和数据

1、数据收集：研究者从Compustat数据库收集了1968年至2021年的年度财务数据。

2、数据标准化：为了确保模型能够一致地处理数据，研究者将收集到的财务数据标准化。这包括使用Compustat的平衡公式来构建标准化的资产负债表和损益表。

3、数据匿名化：为了防止模型通过识别特定公司或年份来产生预测偏差，研究者从财务报表中去除了所有可能识别公司身份的信息，包括公司名称和具体的年份。取而代之的是，他们使用了相对年份标签，例如t、t-1和t-2。

4、构建财务报表：研究者根据标准化和匿名化的规则重建了每个公司年份的资产负债表和损益表。

5、设计Prompts：为了指导LLM进行财务分析，研究者设计了两种类型的提示。第一种是“简单提示”，它仅指示模型分析财务报表并预测未来收益的方向。第二种是“链条思考（Chain-of-Thought, CoT）提示”，它更为复杂，要求模型模拟人类分析师的分析过程，包括识别财务报表项目中的显著变化、计算关键财务比率、提供比率的经济解释，并最终预测下一时期的收益是增加还是减少。

6、模型训练与预测：作者使用上述标准化和匿名化的财务报表以及设计好的提示来训练LLM，并要求模型进行预测。

基于以上的研究步骤，能够确保LLM在没有预先知道公司身份或特定年份信息的情况下，基于财务数据本身进行分析和预测。这种方法论框架允许我们系统地评估LLM在财务报表分析方面的能力和潜力。

与金融分析师的比较 结果显示，在使用CoT提示时，GPT的预测准确率显著高于分析师的预测。

与专业机器学习模型的比较

这里包括逐步逻辑回归和人工神经网络（ANN）。结果显示，GPT的预测性能与这些专业模型相当，甚至在某些情况下更优。

LLM的预测能力来源

作者想论证，LLM的预测能力是否来自其记忆（例如，通过识别公司基于数据）或其生成有关公司财务状况和未来表现的叙述洞察的能力。通过一系列测试，作者排除了LLM使用其记忆进行预测的可能性，而是来自其分析数字数据并生成有用叙述洞察的能力。原因就是来自于基于CoT推理生成的叙述。

资产定价测试

作者还研究了基于LLM财务报表分析的交易策略的实际价值。作者发现，基于GPT预测的投资策略在资产定价方面表现良好，产生了高夏普比率和显著的Alpha。

具体论文大家下载阅读，请再留言区说出你的想法！