统计Go, Go, Go

结束了概率论,我们数据之旅的下一站是统计。这一篇,是统计的一个小介绍。

统计是研究数据的学科。它包括描述数据,推测群体信息,判断假设的真伪。统计是一门实用学科。人们利用统计,寻找下一个NBA巨星,推测奥斯卡奖项,寻找自己的真心伴侣。在电影“点球成金”中,球队的经理就是利用统计思想,来搜寻球员,管理球队,最终造就了一支劲旅。

点球成金 

统计这件大事

如果说最早有统计意识的人,那莫过于古往今来的“王霸”之人。精明的王者,早早的意识到数据的重要性,也因此从统计数据中获得信息优势。刘邦占领咸阳后,萧何先去收集的,是王宫里的户籍、地理、人口等手册。后来楚霸王来了,则是烧杀抢掠一番。项羽在“大数据”意识上,就输给了刘邦阵营。

因数据而流传千古的,还有征服者威廉。这位来自诺曼底的王者,以旺盛的精力统治着英格兰。他派遣手下,走遍英格兰的每个村庄,编纂成统计书 (Domesday Book),详细的记录了英格兰每个地区的人口、地理和物产,甚至于精确到每家养殖的牲口数目。无怪乎诺曼底王朝可以延续数百年。

Domesday Book

现代统计诞生于欧洲近代,主要服务于政府部门。统计部门的建立受益于启蒙主义思想。政府管理从中世纪的影响中走出,开始以理性和科学的方式,记录国家发展。农业社会向工业社会转型,政府需要更高效的方式,了解国家的方方面面。概率的思想融入统计学,统计从单纯的数字记录,向估计和推测发展。随着现代统计的发展,许多以前难以精确获得的数字,比如出生率,国民生产总值,战争耗费等,都通过采样估计的方式获得。

管中窥豹

道琼斯指数 北京的PM2.5指数 世界人口

这三者有什么共同之处呢?

首先,它们都一定程度代表了某个群体的状况,比如美国股市,北京的空气污染状况,和世界的人口。其次,它们都是通过对群体采样,来获得的结果。道琼斯指数包含了美国最重要的一些工业股,而不是所有的股票。PM2.5是北京的数个观测站采集到的。世界人口,是通过各地采样获得的。

PM2.5

通过样本(sample),来研究整个群体(population),是统计学的一大特征。这背后的哲学是,用部分来理解整体。利用统计工具,我们还可以推测,样本中信息与真正的整体信息,有多大的误差。这个研究门类,被称为统计推断 (statistical inference)。它实际上利用了概率论工具,根据采样,对群体的状况作出推论,并给出推论的不确定程度。

确定性的消失

我们希望结论靠谱,就不能忽视误差。在日常生活中,我们也会不经意的用统计的方式思考,但往往会忽视误差。从一袋大米中抓出一把,我们会推测整袋大米的质量。从认识的北京朋友,我们会推断北京人的性格特征。从身边的程序员同事,推测码农的收入和气质。这样很容易得到结论,但也很容易以偏概全,导致自己的结论大大偏离现实。严格的统计方法需要说明结果的可靠性。

从确定论到不确定论,是人类理性的一次大飞跃。在这一观点下,自然科学发生了质的变化。许多早期的科学结论,出现了问题。比较典型的就是:“如果在某一时刻知道所有原子的运动状况,就可以预测宇宙的未来”。观测的数据,如果没有相关的误差描述,不被认为是有效的。更有信奉统计理念的狂热者,比如拉普拉斯。他研究潮汐时,给出优美的理论。但他宣称自己的理论不可信:由于自己的数据只有数千个,达不到统计理论的健壮性。

从群体中抽取一个样品,那么这个样品究竟是群体的哪个个体,是一个随机变量。统计学的不确定性由来于此。这也是统计学与概率论研究的结合点。结合我们对该随机变量的特征有所了解,比如该随机变量符合高斯分布,那么可以根据抽出的样品,来计算分布的平均值和方差,从而得到群体的状况。我们还可以对群体作出一些假设的理论,根据采样结果,来判断结论真伪的概率。确定性的消失令人不安,却为统计学打开了一扇大门。

大数据时代

大数据时代的一个有趣想像,是人们可以对一些数量巨大的群体进行直接的运算。比如,我们可以迅速的计算出所有股票的市值,Facebook的用户发帖总数等等。曾经的一些采样统计,在计算机的巨力面前,似乎显得有些没有必要。是啊,如果可以直接得到群体的信息,我们何必拘泥于恼人的不确定性呢?

姑且不论计算速度和数据采集速度的限制,许多问题的本质,就阻止了我们美梦。比如简单的连续方程积分,就无法真正的摆脱不确定性。自然测量的本质的连续的,计算机运算是离散的。用离散的系统,只能尽力的趋近,却无法真正精确。再者,许多数据是无法测量的。比如假设检验、决策,乃至统计为基础的机器学习。它们基于一个无法测量的真相:所有可能性中“最好”的那一个。这一所谓的“最好”,可能只是理论存在。即使有再多的计算机,也无法采集这样的数据。大数据时代,统计非但没有过时,还找到了更大的舞台。

总结

在后面的统计文章中,目标还是统计理论与编程相结合。

准备开始统计之旅!

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏大数据文摘

用机器学习的经验指导人生:如何实现学习效率最大化

12130
来自专栏大数据文摘

什么,这些人你还不认识?!一文带你有姿势地侃深度学习大佬

15020
来自专栏AI研习社

「2018 机器阅读理解技术竞赛」落下帷幕,看奇点机智如何从 800 多支队伍中杀出重围

AI 研习社按,日前,由中国中文信息学会 (CIPS)、中国计算机学会 (CCF) 和百度公司联合举办的「2018 机器阅读理解技术竞赛」落下帷幕,Natura...

16820
来自专栏AI科技评论

学界 | 多伦多大学开发反人脸识别系统,识别成功率降至0.5%

“刷脸”,作为一种个人身份鉴别技术,这些年在图像处理、深度学习等技术的护持下精度大幅提升,在LFW上,各大玩家在无限制条件下人脸验证测试(unrestricte...

14710
来自专栏PPV课数据科学社区

《财富》万字长文回溯深度学习革命,盘点 16 大历史时刻

【导读】《财富》封面文章报道深度学习推动的人工智能如何在整个计算生态系统引发革命。文章从深度学习发展的历史关键点入手,介绍重大的标志性技术突破,讲述了 Hin...

37280
来自专栏大数据文摘

大咖 | 清华大学王生进教授:人像态势识别及其在智能视频监控中的应用

46450
来自专栏新智元

深度 |《财富》万字长文回溯深度学习革命,盘点 16 大历史时刻

【新智元导读】《财富》今日刊文,深度报道阐述深度学习推动的人工智能如何在整个计算生态系统引发革命。文章从深度学习发展的历史关键点入手,介绍重大的标志性技术突破,...

34650
来自专栏罗超频道

忘了黄金时代,理性看待大数据预测

在世界杯预测时准确率超高的百度大数据预测在稳步推进时遇到了一个小障碍,尚处于内测的票房预测对《黄金时代》的预测与实际结果出现了偏差,被媒体长篇报道引发业内高度...

35440
来自专栏新智元

更正 |《财富》万字长文回溯深度学习革命,盘点 16 大历史时刻

【新智元导读】《财富》封面文章报道深度学习推动的人工智能如何在整个计算生态系统引发革命。文章从深度学习发展的历史关键点入手,介绍重大的标志性技术突破,讲述了 H...

34770
来自专栏AI科技评论

学界 | 只要社会存在偏见,即便是算法操控的机器也无法摘下有色眼镜

AI科技评论按:用网络上现成的语言资料训练机器学习模型已经是现在主流的做法。研究者们希望人工智能从其中学到对人类自然语言的理解,但是人工智能所能学到的内容还远不...

35850

扫码关注云+社区

领取腾讯云代金券