Susan Athey：机器学习将会怎样影响经济学？

问题

机器学习将会怎样影响经济学？

回答者：Susan Athey。

翻译自Quora: How will machine learning impact economics?

回答

简而言之，我认为它将产生巨大影响。在早期，大家还是直接使用现成的（"off the shelf"），但从长远来看，计量经济学家将会修改这些方法，使它们能满足社会科学家的需求，社会科学界的主要兴趣在于对因果效应的推断，和评估反事实政策（即没有尝试的事情，或者如果使用了一个不同的政策将会发生什么）的影响。经济学家经常研究的问题像价格变化的影响，引入价格歧视，改变最低工资标准，或者评估广告效果。我们想要估计在发生变化的情况下会发生什么，或者如果变化没有发生，又会发生什么。

去年夏天，一个周六下午，我和Guido Imbens吸引了250多名经济学教授来参加NBER的一次会议，我们讨论了经济学家的机器学习，并且我不管在哪讨论这个主题，都会吸引大量的人。我认为，对于在这一领域工作的少数经济学家来说，情况也会是这样。在几周前的AEA会议上，有数百人参加了一个关于大数据的会议。

机器学习是一个广义的术语，我将在这里狭义地使用这个词。在机器学习中，有两个分支，有监督的和无监督的机器学习。监督学习通常需要使用一组“特征“或”协变量（covariates）“（x's）来预测结果（y）。有各种各样的ML方法，如LASSO（见Victor Chernozhukov（MIT）和他的合作者，他们将它带进了经济学），随机森林，回归树，支持向量机等。许多机器学习方法的一个共同的特点是，他们使用交叉验证来选择模型复杂性；也就是说，他们在部分数据上反复估计一个模型，然后在另一部分上测试它，并找出从预测的均方误差（模型预测与实际结果的差的平方）来说最能拟合数据的“复杂性惩罚项”。在许多横断面计量经济学中，传统的做法是，研究者指定一个模型，然后通过查看2或3个替代方案来检查“稳健性“。我相信，当我们更频繁地碰到具有许多协变量（covariate）的数据集，也看到了模型选择的系统性的优点，规则化和系统性的模型选择就将成为经济学实践的标准步骤。

Sendhil Mullainathan（Harvard）和Jon Kleinberg以及一些合作者认为，当现成的ML预测方法是重要政策和决策问题的关键部分时，会存在一些问题。他们举了一些例子，比如决定是否为老年患者做髋关节置换手术；如果你能根据他们的个人特征预测他们将在一年内死亡，那么你就不应该做这个手术。许多美国人在等待审判时被监禁起来；如果你能预测谁会出庭，你可以在保释更多的人。目前ML算法在许多司法辖区被用来做这样的决策。Goel，Rao和Shroff在几周前的AEA会议上发表了一篇论文，使用ML方法检验了拦截搜身法（stop-and-frisk laws）。另外，也请参阅我在“Predictive Cities”：2016 ASSA Preliminary Program的session讨论中的使用ML预测方法的有趣的工作，在其中可以看到ML在公共部门中的使用。

尽管有这些有趣的例子，一般来说，ML预测模型是建立在一个前提之上的，这个前提与许多关于因果推断的社会科学工作从根本上是不一致的。监督ML方法的基础是通过模型选择（交叉验证）来优化在测试样本上的拟合优度。一个模型是好的，当且仅当它预测得好。然而，在计量经济学的开篇就有一个基石，那就是预测不是因果推断，一个经典的经济学例子是，在许多经济数据集中，价格和数量是正相关的。企业在消费者购买得更多的高收入城市，会设置更高的价格；他们会在预期需求高峰时提高价格。大量的计量经济学研究试图降低模型的拟合优度，以估计价格变化等的因果效应。如果价格和数量在数据中是正相关的，任何的估计真正因果效应（如果你改变价格，数量会下降）的模型都不能很好地拟合数据。使用因果估计的计量经济学模型可以拟合得更好的是，如果公司在某个给定的时间点改变了价格，会发生什么——当世界发生变化时，做出反事实的预测。像工具变量这样的技术只寻求使用数据中的一部分信息——“干净的”或“外生的”或“像实验的（experiment-like）”价格变化——牺牲在当前环境中的预测精度，来学习一种更为基本的，能帮助做出关于改变价格的决策的关系。这种类型的模型在ML中几乎没有得到任何关注。

在我的一些研究中，我正在探索这样一种想法：可以利用ML方法的优点和创新性，但将它们应用于因果推断。它需要改变目标函数，因为因果参数的真正事实（the ground truth of the causal parameter）在任何测试集中都没有被观察到。因为我们需要一个想要去估计的未被观察到的东西的模型，所以统计理论在这里会扮演更重要的角色，目的是定义算法要去最优化的目标。我还在为一些最广泛使用和最成功的估计量（如随机森林）发展统计理论，并对它们进行调整，以便它们可以用于预测作为个人特征的函数的个体处理效应（treatment effect）。例如，使用一种从回归树或随机森林调整而来的方法，我可以告诉你，对于一个特定的个体，给定他们的特征，他们将如何对价格的变化作出反应。这也将得到一个置信区间。你可以在arXiv.org e-Print网站上搜索我的论文；去年我还在的American Economic Review上写了一篇关于使用ML方法系统地评估因果估计的稳健性的论文。我希望这些方法中的一些能够在实践中应用于评估随机对照试验、科技公司中的A/B测试等地方，来发现系统异质性的处理效应。

无监督学习工具与监督学习的区别在于，没有结果变量（没有“y”）：这些工具可以用来寻找相似对象的聚类。我曾在自己的研究中使用这些工具来寻找相似主题的新闻文章的聚类。它们通常用于对图像或视频进行分组；如果你说一个计算机科学家在YouTube上发现了猫，它可以意味着他们用一种无监督ML方法找到一组类似的视频，当你观看它们，可以看到所有在聚类1572中的视频是关于猫的，而聚类423中的所有视频是关于狗。我认为这些工具非常有用，因为它们是实证工作的中间步骤，是一种可以寻找相似的文章、评论、产品、用户历史等的数据驱动的方法。