独家 | 数据科学家应该避免的5种统计陷阱（附链接）

作者：Matthew Mayo

翻译：冯羽

校对：陈雨琳

本文长度约为2500字，建议阅读5分钟

本文介绍了数据科学家应该避免的五种统计陷阱。

标签：偏见，谬误，辛普森悖论，统计

这篇文章讲了五种统计谬误，也可以称为数据陷阱，数据科学家应该重视并绝对避免它们。谬误就是我们所说的错误推理的结果。统计谬误是统计误用的一种形式，其统计推理能力极差；或许你拥有的数据正确，但无论你的意图多么纯粹，你所使用的方法和解释都不正确。因此，你基于这些错误举动做出的任何决定都必然是错误的。

有无数种基于数据进行错误推理的方法，其中某些方法比其他方法错得更加明显。由于人们一直犯这类错误，许多统计谬论已经被识别并被解释。好消息是，一旦识别并研究了它们，我们就可以避免它们。让我们看看其中一些相对更常见的谬误，看看如何避免它们。

当误用统计是无意的，这个过程类似于认知偏见，维基百科将其定义为“以特定方式进行思考的倾向，可能导致系统性地偏离理性或良好判断标准”。前者建立在数据之上不正确的推理和对数据进行显式和主动的分析，而后者则更隐式和被动地达到了类似的结果。但是，这并不是绝对的，因为这两种现象之间肯定存在重叠。最终结果是相同的：错误。

这里有五个统计谬误，或者称之为陷阱，数据科学家应该重视并绝对避免它们。做不到这一点对数据结果和数据科学家的信誉的打击都是灾难性的。

1、挑选樱桃

为了说明统计谬误多么明显和简单，让我们从每个人都应该知道的经典谬论开始：挑选樱桃。我们可以将其归类为其他容易识别的谬误，例如“赌徒谬误”“虚假因果关系”“偏见抽样”“过度概括”等等。

挑选樱桃的想法很简单，你之前肯定已经做过这样的事情：有意选择那些有助于支持你的假设的数据点，而牺牲其他不支持你的假设或积极反对你的假设的数据点。你听过政客讲话吗？那么你一定会听到“挑选樱桃”。另外，如果你是一个活生生的呼吸的人类，那么在生命中的某个时刻你已经选择了挑选樱桃的数据。你知道你有这么做过。它往往很诱人，是一种很容易获得的成果，可以在辩论中赢得或混淆对手，或者以反对的观点为代价来帮助推动议程。

为什么不好？因为这是不诚实的，这就是原因。如果数据是事实，并且使用统计工具分析数据将有助于发掘事实，那么“挑选樱桃”就是寻求事实的对立面。不要这样做。

2、麦克纳马拉谬误

麦克纳马拉谬误以美国前国防部部长罗伯特·麦克纳马拉的名字命名，在越南战争期间，他的有关决定基于那些很容易获得的定量度量，而忽略其他定量度量。这导致他将个体计数（容易获得的指标）作为成功的唯一指标，而以其他所有定量指标为代价。

不用花很多脑力，你就会发现，简单的个体计数很可能使你在评估战场表现时误入歧途。举一个简单的例子，也许敌人正以不成比例的战斗人员进入你的领土，并控制领土，但阵亡人数比己方略多。另外，也许敌人比例囚禁你的战士的比例高于你杀死敌人的比例，等等。

增加统计盲点并把所有信任放在一个简单的度量上，不足以全面了解越南正在发生的事情，也无法全面了解你所做的事情。

3、眼镜蛇效应

眼镜蛇效应被认为是一个问题解决方案的意外后果，但这反而使问题变得更糟。该名称来自在英国殖民统治下发生在印度的这一现象的特定实例，其中包括，你肯定猜到了，眼镜蛇。

维基百科页面上有一些眼镜蛇效应的例子，我最喜欢的是在1980年代末尝试减少墨西哥城污染物的例子。政府打算根据车牌的最后一位数字，将特定周内可行驶的车辆数量限制为20％，以减少车辆的排放。为了规避这项政策，该市居民购买了其他带有不同车牌的车辆，以期在禁止其主要车辆使用之日起能够驾驶其他允许的驾驶车辆。这导致相对便宜的汽车泛滥成灾，最终使污染问题恶化。

鉴于意外后果的性质是潜在的，并且很难预测，因此这比挑选樱桃要难应对得多。团队采用数据科学方法，以及更多人员带来额外思考过程，是对抗眼镜蛇效应的好方法。

4、辛普森悖论

这种悖论以英国统计学家爱德华·辛普森命名（尽管先前已被其他人识别），是指观察到数据集子集中的某些趋势，但这些趋势随着子集的合并就消失了。从这个意义上讲，可以将其视为无意中的挑选樱桃。棒球的例子可以帮助说明这种悖论。

如果我们比较两位职业球手在他们整个职业生涯的平均击球率，你可能会发现在某些年份子集，球员A的击球平均值高于球员B，甚至可能更高。但是，完全有可能的是，在整个职业生涯查看击球平均数，球员B实际上比球员A拥有更高的击球平均数，甚至可能更高。

如果你提前知道这一点，并有选择地选择了X，Y和Z年份作为A是更好球员的证据，那就是挑选樱桃。如果你不了解聚合统计信息，但偶然碰到了那些孤立的年份，并把它们作为整个职业生涯的代表，但是（希望）在查看了全部统计信息后发现了另外的情况，那将是辛普森悖论的一个例子。

两种情况都导致错误的结果，其中一种是导致错误理解的更无辜的方式。不过，这仍然是错误的，应该加以防范。全面的统计分析应成为数据科学家的工作方案的一部分，并且是确保你不屈服于这种现象的一种有效方法。

5、数据疏浚

数据疏浚还有其他更加不好的名字，例如 p-hacking，它是“误用数据分析以查找数据中具有统计学意义的模式，而这些模式实际上没有任何真实潜在影响。” 这相当于对数据进行广泛的统计测试，并从重大结果中挑选樱桃，以提高叙事效果（真正的挑选樱桃？）。虽然统计分析应该从假设转移到检验，但数据疏浚利用统计检验的结果强制获得一个一致的假设。这相当于“我认为是这样，现在我将测试我是否正确”与“让我们看看数据可以通过测试说出什么，然后提出一个有助于支持这个结果的想法”之差。

但是为什么这样做是错的呢？为什么我们要首先形成假设然后进行检验，而不是仅仅让数据决定我们从未想到要寻找的发现呢？有了足够的数据和足够的变量，我们就可以测试相关性，不需要很长时间我们就可以发现足够多的显著的个体组合。如果我们忽略所有反事实证据，而将注意力集中在这些一致的测试结果上，那么似乎那里确实有东西，而实际上却没有。它们只是偶然出现的结果。抓住机会并证明机会的合理性显然不是科学应有的意义。

对于相关概念以及“机会确定线”的确定方法，请参阅Bonferroni校正。

Bonferroni校正

https://en.wikipedia.org/wiki/Bonferroni_correction

原文标题：

5 Statistical Traps Data Scientists Should Avoid

原文链接：

https://www.kdnuggets.com/2019/10/statistical-traps-data-scientists-avoid.html

编辑：王菁

校对：吕艳芹

译者简介

冯羽，算法工程师。负责设计个人或企业信用风险评估算法、市场风险评估算法、仿真优化算法等。数据派志愿者。

翻译组招募信息

工作内容：需要一颗细致的心，将选取好的外文文章翻译成流畅的中文。如果你是数据科学/统计学/计算机类的留学生，或在海外从事相关工作，或对自己外语水平有信心的朋友欢迎加入翻译小组。

你能得到：定期的翻译培训提高志愿者的翻译水平，提高对于数据科学前沿的认知，海外的朋友可以和国内技术应用发展保持联系，数据派THU产学研的背景为志愿者带来好的发展机遇。

其他福利：来自于名企的数据科学工作者，北大清华以及海外等名校学生他们都将成为你在翻译小组的伙伴。