为什么AI在预测世界杯中全军覆没？包括我们自己的模型也失败了

所以，为什么几乎所有AI都在预测世界杯冠军中栽了跟头？看看这篇文章。

2018年俄罗斯FIFA世界杯于7月15日结束，法国队夺得冠军，其次是克罗地亚和比利时。就像之前的2014年世界杯一样，许多研究人员试图提前预测世界杯的结果。今年，2018年的世界杯也不例外，研究人员和科学家们试图利用AI和统计数据来预测FIFA世界杯所有64场比赛的结果。

AI近几年名声大振，它被称为未来科技。如今，AI正在成为每个大中型企业的一部分。但它真的可靠吗？在本文中，我将讨论AI在预测2018年世界杯比赛结果的表现。无论你是否是AI专家，我都尽量让这篇文章变得简单易懂。

有不同的方法来预测FIFA世界杯的结果。在团队能力和获胜赔率方面模拟配对比较中的每一场比赛。Zeileis，Leitner和Hornik(2018)使用了相同的技术，他们预测巴西将以18.6％的概率赢得2018年FIFA世界杯，其次是德国(15.8％)和西班牙(12.5％)[1]。

瑞士银行瑞银(UBS)也预测了前3名的球队，与前面提到的相同，只是顺序不同。他们预测德国(24.0％)为冠军，其次是巴西(19.80％)和西班牙(16.1％)。他们生成的模型基于四个因素：

1)Elo评级；

2)球队在世界预选赛的表现；

3)球队在历届世界杯比赛中取得的成功；

4)主场优势。

该模型通过10,000次Monte Carlo模拟校准，以确定获胜概率和最近五次比赛的结果[2]。

2018年6月8日，来自多特蒙德工业大学，根特大学和慕尼黑工业大学的四位研究人员(A. Groll等人)发表了一篇关于arXiv预测结果的研究论文。2018年FIFA世界杯采用著名的人工智能算法，随机森林(Random Forest)和泊松排序算法(Poisson ranking algorithm)[3]。这篇论文于6月14日，也就是世界杯揭幕战(俄罗斯对阵沙特阿拉伯)的前几天在线发表。他们使用的数据集涵盖了过去四届FIFA世界杯(2002-2014)的所有比赛。他们预测西班牙将成为冠军，其次是德国队和巴西队的亚军。

这三项上述研究都提出了西班牙，德国和巴西会成为前3名，虽然顺序不同。他们使用了三种不同的方法、数据和数据特征，但它们的结果几乎相似。现在，世界杯结束了，我们可以看到所有这些模型未能正确预测世界杯结果，并且没有一个命中。

在这些研究中，A. Groll等人的研究方法是我在这领域的最喜欢的。首先，他们使用了一个很好的数据源。其次，他们考虑了许多训练的特点和参数。第三，他们采用随机森林算法。在本文的其余部分，我将讨论其数据特征，错误以及在此领域失败的原因。

数据特征

A. Groll等人考虑了与团队本身相关的各种特征，例如：

1)经济因素(人均GDP，人口)；

2)运动因素(ODDSET概率，FIFA排名)；

3)主场优势(东道主，州，联赛)；

4)团队的结构因素(每支球队的成员最大数量，平均年龄，冠军联赛球员数量，退役球员数量)；

5)团队的教练因素(年龄，任期，国籍)。总的来说，他们为每支球队和每届世界杯总结了16个特征。

分类模型

正如我之前提到的，他们使用随机森林算法，这是机器学习中众所周知的算法之一。该算法以决策树为基础，并且在数据分类的许多情况中表现出高性能。他们还使用泊松模型根据当前的能力对球队进行排名。

随机森林算法预测2018年FIFA世界杯的结果[3]

预测

在经历了10万次比赛的模拟后，预计西班牙队将以28.9％的成绩晋级决赛，其次是德国队(26.3％)和巴西队(21.9％)。

错误

正如我们在2018年FIFA世界杯中所观察到的那样，有两支预测前3的球队都无法进入四分之一决赛，更不用说决赛(巴西队进入四分之一决赛)。根据世界杯的实际结果和预测，模型的均方根误差(RMSE)和平均绝对误差(MAE)计算如下：

RMSE: 8.052

MAE: 6.468

这两个指标显示了模型的错误以及它可以在多大程度上准确地预测团队排名。RMSE和MAE值都很高，这使得模型看起来不可靠，尽管使用了16个特征和大数据集(囊括了过去四届世界杯的数据)，AI机器学习(特别是随机森林)仍然无法可靠地预测结果。在本届世界杯上，俄罗斯，日本和伊朗的表现明显好于预期，另一方面，德国未能获得小组赛出线资格。

2018年FIFA世界杯中每支球队的预测排名，实际排名和预测差距(误差)。

所以，AI为什么栽了？

在机器学习中（在这种情况下是监督学习），为训练和建模提供适当的数据非常重要。但在这种情况下，尽管拥有适当的数据（16个特征），相对较大的数据（囊括了过去四届世界杯的数据）以及具有正确参数的优秀算法，但这个模型预测依旧失败了。这种失败的原因其实取决于我们所预测事物的性质。

与任何其他基于人类的事件一样，FIFA世界杯在比赛前和比赛期间（最少90分钟）依赖于太多因素（不仅仅是16个），这些因素被称为混杂变量(confounding variables)。为了正确预测结果，应模拟每场比赛的每一分钟。模拟的每个状态（每分钟或者每秒）的结果取决于先前的状态。这也称为马尔可夫链过程(Markov Chain Process)。错误的模拟状态很容易导致最终不可靠结果。

除了内部因素外，足球比赛的结果也可能受到一些外部因素的显着影响，例如裁判的公正性、天气、政治情况、甚至球员的个人问题等。这些重要特征通常很难测量和收集。此外，总有一些探索的机会和不确定性，例如出现一个关键性失误或一个乌龙球，这都是不容易预测的。

简而言之，像FIFA世界杯或人类活动这种随机和动态环境其实非常不适合人工智能技术发挥。世界杯预测失败是一个非常好的例子，我们必须非常关注AI在类似“动态领域”的适用性。

此外，由于具有非常复杂的数据结构，针对所有潜在偏差来审核训练模型就变得非常困难。人工智能中存在的偏差可能会导致针对特定群体的歧视性决策。将这种系统作为唯一决策标准可能对个人和公司造成巨大问题，因此，决策者们应该仅仅将AI作为预测随机和动态环境的辅助决策平台。

参考文献

[1] Zeileis, A., C. Leitner, and K. Hornik (2018): “Probabilistic forecasts for the 2018 FIFA World Cup based on the bookmaker consensus model,” Working Paper

2018–09, Working Papers in Economics and Statistics, Research Platform Empirical and Experimental Economics, Universität Innsbruck.

[2] Audran, J., M. Bolliger, T. Kolb, J. Mariscal, and Q. Pilloud (2018): “Investing and football — Special edition: 2018 World Cup in Russia,” Working paper, UBS.

[3] Groll, A., C. Ley, G. Schauberger, and H. Van Eetvelde (2018): “Prediction of the FIFA World Cup 2018 — A random forest approach with an emphasis on estimated team ability parameters,” Working Paper.