这么多人用AI预测FIFA 2018,为什么总是会失败?

作者 | Kaveh Bakhtiyari

译者 | Linstancy

编辑 | Jane

出品 | 人工智能头条(公众号ID:AI_Thinker)

【导读】7月16日凌晨,2018 年俄罗斯世界杯在法国与克罗地亚间一场精彩的对决后落下帷幕。法国队时隔20年再次托起大力神杯,克罗地亚队获得亚军,创造了一个又一个奇迹,虽败犹荣。在过去的一个月里,无论是球迷经验与期望的预测,还是各路研究人员通过各种机器学习方法的预测,都没有人预测出这样的结果,FIFA 的结果无疑使这些预测有些尴尬。更是谁都没有预测到历经附加赛,三场加时赛,平均年龄近三十的格子军团凭借着钢铁般的意志,顽强拼搏的精神进入了决赛,而这些奇迹和促使奇迹发生背后的因素在我们的算法和模型中又该如何利用?这篇文章虽然不是在彻底解决这一些问题,但是对预测失败的案例分析让我们知道,不仅在 AI 技术应用过程中会受到很多限制,我们还有很长的路要走。

▌前言

2018 年FIFA 俄罗斯世界杯于7 月16日正式结束,法国队获得冠军,克罗地亚和比利时队分获二三名。和2014 年世界杯一样,许多研究人员试图提前预测结果一样,今年也不例外,研究人员和科学家们试图利用人工智能(AI) 和统计知识来预测本届FIFA 世界杯64 场比赛的结果。

近来人工智能(AI) 的声势颇盛,被称为是未来的技术。如今,人工智能也正在成为每个大中型企业不可或缺的一部分,但它的可信度有多高?在这篇文章里为大家展示一个简单的示例 —— 分析AI 在预测2018 年世界杯结果中的表现。(注:这篇文章中是在最近的几项研究中选取的,分析的方法和评价标准也是基于原研究进行的。)

预测FIFA 世界杯的结果有许多不同的方法。一种方法是针对团队能力和获胜概率,通过成对比较来模拟每一场比赛结果。Zeileis,Leitner 和 Hornik 使用相同的技术预测巴西将以 16.6% 的概率赢得本届FIFA 世界杯的冠军,其次是德国(15.8%)和西班牙(12.5%)。

瑞士银行瑞银(UBS)也预测了本届赛事的前 3 名的球队,他们的结果是:德国将以 24.0%的概率获得冠军,其次是巴西(19.80%)、西班牙(16.1%)。

他们的预测模型考虑了四个因素,分别是:

  1. Elo评级;
  2. 球队在世界杯预选赛中的表现;
  3. 球队在往届世界杯比赛中所取得的成绩;
  4. 主场优势。

该模型通过10,000次蒙特卡罗模拟进行校准,以得到最终获胜的概率和最近五次赛事的结果。

此外,2018年6月8日,来自德国的多特蒙德技术大学,慕尼黑技术大学和比利时根特大学的四位研究人员(A. Groll 等人)在arXiv 上发表了一篇关于2018 年世界杯冠军预测结果的研究论文。论文中采用著名的人工智能算法—— 随机森林算法和泊松排序算法,并在6月14日世界杯开幕前公开发表。他们使用的数据集是一个涵盖了过去四届FIFA 世界杯(2002-2014)的所有比赛。他们预测西班牙将成为冠军,其次是德国队和巴西队。

以上这三项研究预测的前三名结果都涉及西班牙,德国和巴西三支队伍,不同就在于对他们名次先后的顺序。他们分别采用了三种不同的预测方法,数据和数据特征,但最终产生的结果几乎相似。现在,世界杯结束了,我们可以来分析下这些预测失败的模型。

在这些研究中,将会分析的是 A. Groll 等人的研究方案。首先,他们使用了一个很好的数据源。其次,他们考虑了许多训练过程中的特征和参数。随后,他们采用随机森林算法。接下来,我将逐个分析这项研究中所涉及的数据特征,误差以及最终预测失败的原因。

▌数据特征

Groll 等人考虑了与团队自身相关的各种特征,比如:

  1. 经济因素(国家人均GDP,人口数量等);
  2. 运动因素(如ODDSET 概率,FIFA 排名等);
  3. 主场优势(如主办方,大陆,联邦等);
  4. 团队的组成结构(如队伍中同一俱乐部队友的人数,队员的平均年龄,参加冠军联赛的球员数量等);
  5. 团队的教练因素(如教练的年龄,任期,国籍等)。

总的来说,他们总结了这16个数据特征来分析每支世界杯参赛队。

▌分类模型

正如之前提到的,他们使用一种众所周知的算法--随机森林算法,该算法的工作原理是基于决策树,在许多数据分类任务中表现出很高的性能。此外,他们还引入泊松模型,根据当前的实力对各支球队进行排名。

随机森林算法预测的2018年FIFA 世界杯比赛结果

▌预测

经过了 10 万次赛事模拟后,他们的算法预测出西班牙队有 28.9% 的机会晋级决赛,其次是德国(26.3%)和巴西队(21.9%)。

▌错误

但是根据今年的世界杯结果来看,预测的前两支球队都未能进入四分之一决赛,更不用说决赛(巴西队进入四分之一决赛)。根据世界杯的实际结果和预测,模型的均方根误差(RMSE)和平均绝对误差(MAE)计算结果如下:

这两个指标显示了模型的错误,以及它可以在多大程度上准确地预测出最终的团队排名。尽管使用了 16 个特征以及大数据集(包含过去四届世界杯的比赛数据),但最终得到的 RMSE 和 MAE 值都很高,这使得模型缺乏可信度,而基于机器学习的 AI 方法(特别是随机森林算法)也无法可靠地预测出结果。在本届世界杯,俄罗斯,日本和伊朗的表现明显好于预期,另一方面,德国也没有晋级。

2018年 FIFA 世界杯中每支球队的预测排名、实际排名及预测差异结果(误差)。

▌AI 为什么失败?

在人工智能和机器学习领域,为模型训练和模型设计并提供适当的数据是非常重要。但在这种情况下,尽管拥有适当的数据(16个已清洗的特征),相对较大的数据量(过往四届世界杯的比赛数据)以及具有正确参数的优秀算法,但即使这样训练有素的模型最终仍会失败。我认为这种失败的原因在于我们所预测的本质。

FIFA 世界杯和很多其他以人为本的事件一样,比赛在赛前和比赛期间(最少90分钟)有太多的因素(远不止是本研究考虑的16个),这些因素被称为混淆变量。为了能够正准确地预测结果,每场比赛的每一分钟都要模拟出来。每分钟甚至每秒钟状态的结果都取决先前的状态,这种现象也称为马尔可夫链过程。错误的模拟状态很容易导致比赛产生不可靠的结果。

除了内部因素外,足球比赛的结果也可能受到一些外部因素的影响,例如不公平的裁判,天气,政治情况,甚至球员的个人问题等。而这些重要特征通常很难被衡量和收集。此外,总有一些探索和不确定性的机会,例如球员的一个致命失误或进球得分,这是不容易预测的。

简而言之,像 FIFA 世界杯或者一些以人的活动为基础的领域,具有随机和动态环境是如今人工智能技术还无法很好驾驭的领域。这个例子就很好地说明了我们必须非常注意 AI 在类似动态环境领域的适用性。此外,通过具有非常复杂的数据结构,针对任何的潜在偏差可能非常难以修正我们已经训练好的模型。存在的偏差会导致模型只适用于特定的群体决策。而实施这样的系统也将会对个人和公司产生巨大的问题,因此建议将人工智能应用于这种随机和动态环境时作为补充的决策平台。

2018年 FIFA 俄罗斯世界杯官方 logo

更多研究内容可参考: https://www.ubs.com/content/dam/assets/wm/global/cio/doc/investing-in-emerging-markets-en.pdf https://ideas.repec.org/p/inn/wpaper/2018-09.html https://arxiv.org/abs/1806.03208 原文链接: https://medium.com/@bakhtiyari/artificial-intelligence-failed-in-world-cup-2018-6af10602206a

*本文由人工智能头条整理编译,转载请联系编辑(微信1092722531)

原文发布于微信公众号 - 人工智能头条(AI_Thinker)

原文发表时间:2018-07-17

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏人工智能快报

深度学习的起源与先行者

在二十世纪五十年代就存在深度学习的概念了。麦肯锡全球研究院发文简要回顾了深度学习是如何从概念发展为现实的,而使之实现的关键人物又是谁。

892
来自专栏数据派THU

可能是史上最全机器学习和Python速查表(附下载链接)

来源:网路冷眼 作者:Hanson 本文长度为680字,建议阅读5分钟 本文为你分享有关机器学习、Python和相关数学知识的速查表大全。 机器学习有很多方面。...

3295
来自专栏灯塔大数据

从国足说起,网络流算法远比你想的要好玩

? 这个问题的由来是想起来11月18日将会有国足世预赛的比赛,于是今天去看了看国足目前在小组中的积分。在积分榜中,我们可以看到与中国同组的马尔代夫和不丹都已经...

2795
来自专栏AI科技大本营的专栏

图灵奖得主姚期智最新论文出炉!中秋人家看月亮,AI人看论文

参与 | 周翔、reason_W 今年2月,世界著名计算机科学家姚期智放弃外国国籍成为中国公民,正式转为中国科学院院士,加入中国科学院信息技术科学部。 为什么这...

39911
来自专栏量子位

2018谷歌学术影响因子发布:NIPS首次跃进Top 100,CVPR排名泛AI领域第一

刚刚,谷歌发布了2018年最新版学术指标(Google Scholar Metrics,GSM)榜单。通过综合衡量学术会议和期刊论文中已发表的论文,谷歌对学术出...

3000
来自专栏AI科技大本营的专栏

谷歌大脑深度学习从入门到精通视频课程[5.3]:受限玻尔兹曼机——能量函数

AI100 已经引入 Hugo Larochelle 教授的深度学习课程,会每天在公众号中推送一到两节课,并且对视频中的 PPT 进行讲解。课后,我们会设计一...

3075
来自专栏PaddlePaddle

用深度学习预测世界杯胜率,有多大把握?

预测其实是需要综合多方面因素考量的,数据维度可能爆炸到无法统计,同样如果想借助深度学习预测,在开始之前一定要确保避开这几个雷区

1143
来自专栏AI2ML人工智能to机器学习

平均场思想

首先要说明的, 这里的平均场是指机器学习中的平均场, 不是物理里面的平均场(请物理的同胞出门右拐,当然也可以贻笑大方下下)。 有人说,这有什么差异呢? Yan...

1302
来自专栏AI科技大本营的专栏

资源 | Hinton、LeCun、吴恩达......不容错过的15大机器学习课程都在这儿了

翻译 | AI科技大本营 参与 | 刘畅 编辑 | Donna 之前,我们推送了由sky2learn整理的15大深度学习课程。这次,我们整理了15个必看的机器学...

4089
来自专栏腾讯大讲堂的专栏

大数据预测世界杯靠谱吗?

网友“伟仔”: 今年大数据取代了章鱼保罗,成为预测世界杯战局的热门手段。不过这种预测靠谱吗?大数据真的能预测世界杯? 腾讯科技: 目前采用大数据预测世界杯的...

19810

扫码关注云+社区

领取腾讯云代金券