「数据会说谎」的真实案例有哪些?你知道多少,知乎大神分享

问:「数据会说谎」的真实例子有哪些?

究竟是数据在说谎,还是逻辑在说谎?最好是你遇到的真实案例,你是如何判断数据表明的错误的?

Han Hsiao答:[1600赞](学术向)

一、数据来源如何说谎

最简单的层级,在查阅统计报告之前首先应该关注的是报告出处以及数据来源。以工业品和消费品为例主要的数据来源如下所示:

关于数据的来源我们需要注意四点:

(1).数据发布机构是否权威?(代表性)

网上主流的数据资源太多,以下列举一些,不一而足。

  • 国研网:行研报告,各类数据(需要付费T T)。
  • 国家统计局数据库:宏观数据、金融、教育、行业数据等,包含国家一级、31个省以及200多个市的数据。
  • 《中国统计年鉴》:历年统计年鉴以及普查数据、专题数据等。
  • United Nations Statistics Division:联合国数据库
  • Data | The World Bank: 世界银行数据库
  • Federal Reserve Economic Data:美联储数据库
  • Socioeconomic Data and Applications Center:美国航空航天局NASA的地球观测系统数据

(2).是否是发布机构原版文件?(可信度)

(3).数据采集面向的对象?(调研主体)

举例说明。产品可分为工业类产品和消费类产品,它们在基本属性、购买特征、营销理念等方面有本质的不同,所以需要调研的主体不同。

  • 工业类产品:供需双方一般都是企业,需要了解总产值、总产量、销售总额、销售总量,所以调研主体以企业为主。
  • 消费类产品:面向大众消费者,统计口径一般是零售市场消费总量、总额,所以调研主体以个体消费者为主。

(4).数据是一手数据还是二手数据?(时效性,相关性)

  • 一手数据(Primary data):也称原始数据。指通过人员访谈、询问、问卷、测定等方式直截获得的,时效性和相关性更好。
  • 二手数据(Secondary data):利用文献,统计年报以及数据库等前人统计好的数据资料。优点是获取成本低,且现成可用。一般可以长时间保存,生成数据趋势图方便。

栗子:研究人员希望了解工人在遇到工伤后返回工作的情况。

  • 一手数据:通过电话采访工人,询问他们多久时间能回到工作、以及返回到工作流程等问题。研究人员得出结论,包括返回到工作流程包括提供优惠住宿,以及为什么一些工人拒绝了这样的提议。
  • 二手数据:包括政府,企业的健康和安全记录,例如工人的受伤率,以及工人在国内不同行业的数据。研究人员发现了工伤索赔额度与全职工人工资额度之间的数量关系。

最后将两个数据源相结合,研究人员便能够找到那些能够让受伤的工人愿意马上回到岗位的因素。

通过例子可以看出,一手数据提能够提供量身定制的信息,但往往是需要很长的时间以及昂贵的成本。二手数据通常是能够廉价的取得,而且可在更短的时间内进行分析,但由于数据获取的初始目的可能与研究目的不相关,需要梳理信息来提取您要找的内容。数据研究人员选择的类型时候应该考虑很多因素,包括所研究的问题,预算,技术和可用资源。基于这些因素的影响,他们可能会选择使用一手数据或二手数据,甚至两者兼备。

(5).数据采集方式是什么?(投票方式) 在网络上进行投票还是在现实中分发问卷有很大的不同,两者都有很多细节点需要注意。

  • 网络投票:如何防止机器人,恶意投票以及UI的设计是关键。可以参考推荐系统的用户反馈设计。
  • 现实问卷:如何设计题目(逻辑性、完整性、非诱导性)以及投放方式(时间、地点、对象)是关键。可以参考调查问卷的设计与评估 (豆瓣)。

二、数据统计如何说谎

数据统计中常常会出现的谎言,这是因为虽然原始的数据相同,但是数据处理的过程不同。具体情况通常可分为四种:抽样方法、样本选取、离群值处理及统计指标设置。

(1).抽样方法的区别

整体样本的维度,粒度和取数逻辑相同的情况下,不用的样本抽样规则会使数据看来更符合或不符合“预期”,从而实现特殊目的。我们知道最基本的定量研究的抽样方法分为两类,一类为非概率抽样,一类为概率抽样。其中概率抽样方法分为四种:

  • 随机抽样(Simple random sampling)

方法:将调查总体的观察单位全部编号,再随机抽取部分观察单位组成样本。 优点:操作简单,均数及相应的标准误计算简单。 缺点:总体较大时,难以一一编号。

  • 系统抽样(Systematic sampling,又名机械抽样、等距抽样)

方法:先将总体的观察单位按某一顺序号分成N个部分,再从第一部分随机抽取第k号观察单位,然后依次使用相等间距,从每一部分各抽取一个观察单位组成样本。 优点:易于理解、简便易行。 缺点:总体有周期或增减趋势时,易产生偏差。

  • 整群抽样(Cluster sampling,整体抽样)

方法:总体分群,再随机抽取几个群组成样本,群内全部调查。 优点:便于组织、节省经费。 缺点:抽样误差大于单纯随机抽样。

  • 分层抽样(Stratified sampling)

方法:找到对观察指标影响较大的某种特征,从而将总体分为若干个类别,再从每一层内随机抽取一定数量的观察单位,合起来组成样本。有按比例分配和最优分配两种方案。 优点:样本代表性好,抽样误差减少。

缺点:抽样过程繁杂。

各种抽样方法的抽样误差一般是:整群抽样≥单纯随机抽样≥系统抽样≥分层抽样。

栗子1:在建立客户流失模型时,使用分层抽样。假如两次调研的抽样样本分别是最近一年未消费流量的客户和最近一年未消费流量但经常收发短信的客户,不用做测试基本上就可以确定后者的流失可能性更小。而如果使用随机抽样则很难得出上述结论,所以数据抽样方法的选择对结论影响较大,实际操作时具体需要深入到SQL查询逻辑的研究。

栗子2:普林斯顿大学的信息技术政策中心(CITP)和北卡罗莱纳州大学教堂山分校(University of North Carolina at Chapel Hill)在2013年发表了一篇文章《Big Data: Pitfalls, Methods and Concepts for an Emergent Field:大数据:一个新兴领域的陷阱、方法和概念》。通过实验对一些市场营销人员发出警告:请首先确认抽样的方法是否能够真正地覆盖的整个市场,不要对从社交媒体渠道(如Twitter和Facebook)收集的消费者数据过于自信。

1.Inadequate attention to the implicit and explicit structural biases of the platform(s) most frequently used to generate datasets (the model organism problem). 2.The common practice of selecting on the dependent variable without corresponding attention to the complications of this path. 3.Lack of clarity with regard to sampling, universe and representativeness (the denominator problem). 4.Most big data analyses come from a single platform (hence missing the ecology of information flows).

作者Zeynep Tufekci(博客地址:technosociology,北卡罗来纳大学教授)通过描述对果蝇进行生物测试的方法,质疑很大程度上依赖社会化媒体形成的大数据方法论。大多数的大数据集(Big datasets)研究只包含“节点到节点”(Node-to-node)之间的信息互动;然而面对社会中的群体性事件,无论是通过经验分享或通过广播媒体传播,“场”(Field)效应的地位更加重要。一个典型营销活动(Twitter、Facebook上)的用户参与百分比只有10%,只代表一定的细分市场,可能扭曲调查结果。这些市场调差报告不能准确反映市场的数据,所以无法据此制定出可靠的未来计划。

(2).样本选取的区别

从严格意义上来说统计范围的选择问题并不一定是故意欺骗,因为在数据采集的实践中确实存在样本量失衡的情况,如果遇到这种情况一般使用欠抽样(Under-sampling)和过抽样(Oversampling)进行样本平衡。通常来说样本的问题主要分为以下三种情况:

  • 样本抽取的数量。这一点很容易理解,数据样本量差距越大,可比性越小。尤其是在样本分布不均时,数据结果可信度低。
  • 样本抽取的主体。为了制造某种统计结果而故意选择对结果有利的样本主体。如针对农村用户和城市用户统计某手机市场占有率,后者结果肯定优于前者。
  • 样本抽取的客观环境。比如做运营商网站用户体验分析(User Experience,简称UE),ISO 9241-210标准中对用户体验的定义有如下补充说明:用户体验,即用户在使用一个产品或系统之前、使用期间和使用之后的全部感受,包括情感、信仰、喜好、认知印象、生理和心理反应、行为和成就等各个方面。三个影响用户体验的因素:系统,用户和使用环境。如果测试方法都没有完全相同的客观环境,即使选的是相同样本和用户,分析结果可信度依然较低。

更多资料推荐: 抽样调查设计导论 (豆瓣) Sampling (豆瓣)(豆瓣版本老,现在有09年新版)

(3).离群值处理方法的区别

离群值(Outlier,异常值):指样本中的个别值,其数值明显偏离其所属样本的其余观测值。

离群值与非离群值之间并没有明显的区别。实际上,用户必须指定一个阈值,以便界定离群值。偏差度高于这个阈值的所有集群被标记为离群值集群,它们的成员都是离群值。如上图中所示。如果设定阈值600,则Cluster3为离群值。

目前对离群值(Outlier)的判别与过滤主要采用两种方法:物理判别法和统计判别法

  • 物理判别法:根据人们对客观事物已有的认识来判别由于外界干扰、人为误差等原因造成实测数据值偏离正常结果。
  • 统计判别:给定一个置信概率,并确定一个置信限,凡是超过此限的误差我们就认为它不属于随机误差范围,将其视为异常值过滤。

通常面对样本时需要做整体数据观察,以确认样本数量、均值、极值、方差、标准差以及数据范围等。极值很可能是离群值,此时如何处理离群值会直接影响数据结果。

栗子:某一周的手机销售数据中,存在异常下单行为导致某一品类的销售额和转化率异常高。如果数据分析师选择忽视该情况,结论就是该手机非常热销抓紧供货,但实际情况并非如此。通常需要把会把离群值拿出来,单独做文字说明。

(4).统计指标的区别 数据统计的业务指标成百上千,根据不同目的选择合适的指标组合,就能实现说谎的效果。

我们都知道,平均数是表示一组数据集中趋势的量数,它是反映数据集中趋势的一项指标。解答平均数应用题的关键在于确定“总数量”以及和总数量对应的总份数。在统计工作中,平均数(均值)和标准差是描述数据资料集中趋势和离散程度的两个最重要的测度值。

平均数在数学中可分为,算术平均数(arithmetic mean),几何平均数(geometric mean),调和平均数(harmonic mean),加权平均数(weighted average),平方平均数(quadratic mean)等。一般人大家所说的“平均数”就是算术平均数,即N个数字相加然后除以N。而“平均数”在统计学中包含三种:算术平均数、中位数、众数,都是用来描述数据平均水平的统计量。

  • 算术平均数(Arithmetic mean):一组数据中所有数据之和再除以数据的个数。
  • 中位数(Median):将所有数值从高到低排列,最中间的数值。

栗子:1,2,3,4;排序后发现有4个数怎么办? 若有n个数,n为奇数,则选择第(n+1)/2个为中位数;若n为偶数,则中位数是(n/2以及n/2+1)的平均数。所以此例中位数为2.5。

  • 众数(Mode):所有数字中出现频率最高的数值。

栗子:1,1,2,2,3,4的众数是1和2。如果所有数据出现的次数都一样,那么这组数据没有众数。例如:1,2,3,4没有众数。

通过公式我们可以看出:算术平均数易受极端数据的影响。中位数不受分布数列的极大或极小值影响,在一定程度上对分布数列的具有代表性。但缺乏数字敏感性,有些离散型变量的单项式数列,当次数分布偏态时,中位数的代表性会受到影响。众数不受极端数据的影响,而且具有明显集中趋势点的数值,能够代表整组数据的一般水平。在这三个平均数中,算数平均数是能够取得最大数字的平均数,所以,一般的统计调查都用的是这个做结论,比如平均工资。所以有时候大家会发现自己的工资“被平均”了,或者拖后腿了就是这个原因。2013年北京月平均工资5223元

结论:对于不同的统计平均值的方法,得出的数据结论是不一样的。有太多人利用本来正确的统计数据来穿凿附会得出自己需要的结果,有些原始的统计数据往往是由权威机构或人士做出的,只是被其他人赋予了原调查目的之外的其他意义。 所以一般见到平均数后,首先查明使用的是哪种平均数计算方法,然后试着用另外两种分析一下,看看是否有破绽。

更多资料推荐: Mind on Statistics (豆瓣) 统计学 (豆瓣) Applied Multivariate Statistical Analysis (豆瓣)

三、数据可视化如何说谎 统计数据的表现方法千差万别。虽然数据相同,但表述方式不同,呈现的效果也不同。

(1).图表长宽

由《系统事务平均响应时间趋势图》可见,将图表的长宽比(长=横轴,宽=纵轴)从1:1拉伸到2:1后,数据发展趋势明显变缓。如果需要突出数据的爆发性增长,可以缩短时间间隔或记录次数(横坐标)。

  • 左图暗示“系统事务平均响应时间在测试场景开始以后快速突破150秒”
  • 右图暗示“系统事务平均响应时间随着测试场景执行时间延长逐渐增加”

(2).取值间隔

由上图可知,如果数据的取值间隔划分过大(等比数列1,10,100,1000,10000)而不是标准等差数列(1,2,3,4),则数据之间巨大差异会被缩小。

  • 左图暗示“湖北、河南、江苏总产值排名前三远超其他省市”
  • 右图暗示“各省市总产值相差并不太大”

(3).数据标准化 数据标准化也是归一化的过程。在数据分析之前通常需要先将数据标准化(Normalization),目的是去除奇异样本数据(相对于其他输入样本特别大或特别小的样本矢量),将数据按比例缩放,使之落入一个小的特定区间。或者去除数据的单位限制,将其转化为无量纲的纯数值,便于不同单位或量级的指标能够进行比较和加权,而且能保正程序运行时收敛加快。

如上图所示,正态分布中的各类分段方法。包括: Standard deviations, cumulative percentages, percentile equivalents, Z-scores, T-scores, standard nine, percent in stanine.(Standard score)

数据标准化常用方法有“Min-max”、“Z-score”、“Atan”和“Decimal scaling”等。

  • Min-max标准化(Min-max normalization)

适用于原始数据的取值范围已经确定的情况,缺点是当有新数据加入时,可能导致Max和Min值变化需要重新定义。设MinA和MaxA分别为属性A的最小值和最大值,将A的一个原始值x通过Min-max标准化映射成在区间【0,1】中的值,公式为:

  • Z-score 标准化(Zero-score normalization)

又名标准差标准化。经过处理的数据符合标准正态分布,均值为0,标准差为1。设μ为所有样本数据的均值,σ为所有样本数据的标准差。公式为:

  • Atan函数转换

使用这个方法需要注意的是如果想映射的区间为[0,1],则数据都应该大于等于0,小于0的数据将被映射到[-1,0]区间上。所以通过atan标准化会映射在区间【-1,1】上。

  • 小数定标标准化(Decimal scaling)

通过移动数据的小数点位置来进行标准化,小数点移动多少位取决于属性A的取值中的最大绝对值。这个方法比较容易理解

一个简单的例子对比如下图所示:

了解更多:

  • 数据可视化的优秀入门书籍有哪些?
  • 数据可视化是让信息易读,还是更复杂?

数据可视化经典例子:

  • googlecode-birdeye
  • Axiis : Data Visualization Framework

四、结束语

数据如同金矿,需要人使用工具来开采、提炼、加工。

所以数据不会说谎,使用数据的人才会说谎;有些人是无意,有些人是蓄意。

祝每一个DMer都挖掘到金矿和快乐:)

谢科答:[2767赞](案例向)

截图说话——哗众取宠的美国Fox news经常用的一些招数。

这些招数更多的是从视觉上给人一种“错觉”。比如说,本来不大的差异,截掉Y轴的一部分,瞬间差异就会让看的人觉得——差得这么多!!!

想象你明天要跟你的经理作报告,手里有一堆结果,但是显然这些结果对于之前的方法只有边际的增长——好消息是,你几乎一定可以找到一个方法,在数据变化不大的时候却给人造成视觉的冲击。

例子: 1)在趋势图中,为了说明增长趋势多明显,把Y调成不从0开始。这样差距会看起来很大,增长很大,但是如果把Y轴从0开始看的话,会显得基本没有差距。

差距够大吧!!!巨量增长啊!我们公司的财务情况这样的话,公司明年就得IPO啊!!

可惜Y从0开始的话,这图应该看起来的样子是:

p.s.刚发现在用Excel画这图的时候,excel都自动把Y轴的起始值调成比最小值多一点!这样看起来差距真是巨明显有没有!看来M$真是很懂画图的真正需求啊:D

2) 另外一个例子,作两两比较的时候把Y的值从高位开始,造成俩差距巨大的错觉

看啊,右边比左边高了4倍不止!!!咦,等等,不是就39.6%跟35%的差别吗….这…

3) 分数加起来不等于一,放大差距。

图上的数据normalize一下的话那么佩林是36.2%,32.6%,31.0%,直观差距不大。但是在这个饼型图里瞬间变成了10%的差距!这个比较明显的话那看下面

这里

一扫的话没发现这里百分数加起来不等于1了吧。

4) 挑取x轴的数据以捏造趋势

假设数据的波动性很大,比如说如下

10, 1, 20, 3, 30, 4, 50

看起来应该是

擦勒,公司的财务状况这么不稳定!!!怎么办!

没关系——如果我只抽取奇数项的话(挑取x轴,虽然挑得好像是很有系统地——奇数,但是你总能想到一个看着挑得系统的方法) 就会看着像

TMD明年又可以上市了。。。

等等等等…

部分图片来源于simplystatistics.org/20

知乎原帖》》http://www.zhihu.com/question/19578400

原文发布于微信公众号 - PPV课数据科学社区(ppvke123)

原文发表时间:2015-03-09

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏机器之心

教程 | 如何用Python和机器学习炒股赚钱?

选自Hackernoon 作者:Gaëtan Rickter 机器之心编译 参与:熊猫 相信很多人都想过让人工智能来帮你赚钱,但到底该如何做呢?瑞士日内瓦的一位...

750130
来自专栏专知

基于TensorFlow的机器学习速成课程25讲视频全集(21-22讲)

17530
来自专栏机器之心

资源 | 《深度学习》中译版读书笔记:GitHub项目等你来Fork&Commit

39550
来自专栏机器学习AI算法工程

极简增强学习新手教程 返回专栏查看评论

“如何学习新技能?”这是一个全球科学家都在研究的基础问题。为什么会想要知道这个问题的答案呐,答对了好处都有啥呢? 因为一旦我们能够理解这一点,就可以实现一些前...

33050
来自专栏AI科技大本营的专栏

人工智能在医疗领域的实践精选

导读:随着机器学习的不断发展,医疗领域也在发生巨大的变革,下面我们将对人工智能在医疗领域的实践做一个简单的介绍。 “数据挖掘即为深入分析数据直到得出满意结果的过...

32040
来自专栏AI研习社

手把手教你用 R 语言分析歌词

翻译 | 刘朋 Noddleslee 程思婕 余杭 整理 | 凡江

30030
来自专栏机器之心

业界 | 对比了六家计算机视觉API,发现最好的竟然是...

选自free Code Camp 作者:Mariya Yao 机器之心编译 参与:蒋思源、刘晓坤 本文通过吉娃娃与松饼的图像对比了流行的六大计算机视觉API,...

38660
来自专栏华章科技

大数据时代的网络分析,如何全盘挖掘大数据?

我们生活在一个互联实体(entities)构成的复杂世界中。人类涉足的所有领域,从生物学到医学、经济学和气候科学,都充满了大规模数据集。

12460
来自专栏大数据文摘

分辨真假数据科学家的20个问题及回答

22730
来自专栏专知

张翼英:一点论文写作心得

【导读】论文是硕士博士必修之关。我们转载一篇来自张翼英老师的论文心得文章! 本文来自张翼英科学网博客。 链接地址:http://blog.sciencenet....

43170

扫码关注云+社区

领取腾讯云代金券