【探讨】比数据更重要的,是见解

对数据的盲目崇拜往往是失败的一个诱因,许多事情表面理性,其实却缺乏最基本逻辑。从海量数据分析曾经的辉煌与如今的阴霾中,我们是否还能学到些什么呢? 两年前,纽约时报刊登了这样一个精彩绝伦的故事:在明尼阿波利斯市,有一个男人闯入当地的塔吉特(Target)百货公司狠狠地抱怨了一番,因为塔吉特公 司不停地在向他年仅十几岁的女儿寄婴儿衣物与孕妇装的折价券。小姑娘真心觉得她自己并没有怀孕,并且完全不需要这些折价券。于是公司经理一再向这位父亲表 达了歉意。 你大概已经猜到接下来发生了什么——很快那个小姑娘就被确认已经怀孕了。她的爸爸此前完全没有发觉,甚至连她自己也没有。而塔吉特,在分析了她所购买的无香湿纸巾与饮食补给品之后,却意识到了。 2012年的时候,在大多数的市场参与者中,海量数据分析仍然是个新鲜的主意,普罗大众也全然没有像现在那样对此怀有热情。不过,这项技术其实已经被网络 内容提供者、零售商,以及研究人员等熟知并且热情追捧了有近半个世纪了。在《自然》杂志的09年二月刊中,一篇由谷歌的工程师团队撰写的题为《使用搜索引 擎的查询数据以探测流感的流行》的文章吸引了全世界研究人员的注意。如标题所示,此文宣告了谷歌在追踪流行病传播方面的显著成果。

美国疾病控制与预防中心(Centers for Disease Control and Prevention,略作CDC)被要求追踪美国本土诸如流感之类的流行病的发展。CDC依赖于医生们的报告,因此,它的追踪结果通常会滞后至少一个星 期。谷歌却在没有询问任何医生或医院的情况下成功追踪到了全国范围内的流感爆发。它在某一区域范围内深入分析了该地区人们的搜索关键词,例如“流感症 状”,并找寻与该地区流感人群数量间的相关性。通过随机且动态的模型技术,谷歌创造了一条发现流行病疫情的迅速且经济的方式,延迟不超过一天。 这种“海量数据”方案最美妙之处在于,人们甚至不需要人工去检查流行搜索关键词以确认分析对象——数据算法能自动找寻过往案例中查询词与流感间的关系来发 现合适的关键词,而且仅仅需要一眨眼的时间(虽略夸张,但几可比拟)。一旦算法写成,直到该模型运作起来,期间都不包括任何主观且常带偏见的过程——不需 要建立理论,不需要提出假说,也不需要人工判断。正如《连线》杂志2008年所载的文章《理论的终结》中阐述的那样,“有了足够的数据,数字们自己会说明 一切。”“海量数据”这个主意非常具有革命性,并且似乎让人们看到了这样的未来:多数如今依靠人脑分析的工作将来都会被机器所取代,这些机器能从数据的海洋中挖掘出规律,以更快地速度进行分析。 然而,让科技迷和海量数据的资助者们失望的是,在原作发表四年后,这个项目华丽丽地失败了。持续提供了三年即时可信的流行病追踪报告后,这个无理论支持但 拥有海量数据的模型于2012年冬天预测了一场严重的疫情爆发。一周以后,过时已久的CDC追踪结果表明,与谷歌的预测相异,这场流感疫情正得到很好很好 的控制,而谷歌的预测几乎是真实情况的两倍。 海量数据分析的问题在于,谷歌并不知道,也无从知道,到底被搜索的关键词与流感之间存在什么样的联系。在冬天最寒冷的日子里,人们搜索“羽绒服”的时候正 好撞上流感大爆发,但这无法表明在倒霉日子里搜索“羽绒服”和患上流感的恰好是同一拨人,没准他们只是想赶上线上打折季。而谷歌的工程师们未曾试图找寻这 之间的因果关系。相反,他们依赖于通过统计模式来解释并预测事件。他们耗费大量精力研究数据相关性,却对因果关系几无研究。这也恰恰是所有海量数据分析者 的通病(当然也是快速与低价的缘由)。问题在于,如果没有因果关系,那么数据间的相关性便毫无意义。 海量数据对于商业乃至整个人类社会价值毋容置疑。统计模型仅仅在它所研究的样本范围内正确,而抽样失误与样本误差又同时存在。海 量数据,以其巨大的容量,可以非常有效地减少样本误差(在理想条件下,全部人口的数据都能被获取)。此外,根除人工失误使得把完全无误的数据交给算法成为 可能。但是,海量数据的积极鼓吹者们大多都没能发现的是,这些数据本身对它们之间的因果关系完全不加以考虑。数据库越是庞大,人们就越无法在找寻到因果关 系之前确定数据间的相关性。如果输入的数据出错,那么海量数据算法能告诉我们的,终究也不过是一个精准预测的错误答案罢了。 我很倾向于用人类智商的例子来解释把相关性误作因果关系的危害。如果我们把全人类的体重和智商的数据进行回归分析,我们会发现这两组数据间有一个清晰的相 关性:平均来说,体重越重的人在智商测试中获得的分数也越高。然而这并不意味着你需要多吃才能学得更多更好。这两组数据其实都与年龄有关,当一个人长得越 大,他/她会变得越重同时也学得越多(此外他还会长得越高)。如果缺乏合理的基本理论,仅仅从统计分析中得出结论,是非常危险的,而当今许多海量数据系统都无法解释因果问题,这并不是在危言耸听。 过去有大量的案例可以表明,投资界内人士过于依赖数据会造成怎样的可怕后果。长期资本管理公司(Long-Term Capital Management L.P., 略作LTCM)不过是其中一个罢了。被塔吉特公司误的尿片广告邮件的未怀孕的女士,肯定比它正确发现的孕妇多得多。一个精准挖掘到有用数据的系统,可能诞 生于一千个足以让投资者倾家荡产的同类系统之中。我们并不否认,如果设计正确,那么海量的数据能够既体现相关性又把握住因果关系。想想机器学习,以及从中 获得极大成功的谷歌翻译项目便可得知。但是就目前而言,从海量数据分析能给我们的承诺来看,它真正的价值,以及为它估价所冒的险,仍然需要我们拭目以待。 但这并不是说我们现在就无法把海量数据分析本身作为获利工具。塔吉特并没有给每一个它认定已怀孕的人寄去满是婴儿用品的目录表。它们只是在随机普通产品间 混入了部分有目的宣传的商品罢了。这可能是塔吉特的一个非常巧妙的策划,因为这样顾客也不会因为秘密暴露而被吓到。但十有八九,塔吉特其实也拿不准收到折 价券的顾客究竟有没有怀孕。想要利用分析工具赚钱,其实并不需要我们正确知道全部事实,只要稍稍提高一点点市场精准度就足以带来可观的收益。我们需要加以 注意的,仅仅是海量数据的局限性以及贸然使用它会带来的危险。 毕竟,对投资者而言,比海量的数据更重要的,是伟大的见解。

原文发布于微信公众号 - PPV课数据科学社区(ppvke123)

原文发表时间:2014-07-15

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏华章科技

微信群干扰你的日常生活了吗?75.4%的人这么说……

“五六十个群聊,哪天能全退了,世界就安静了……”看着朋友圈里朋友发的吐槽微信,在一家媒体工作的王新(化名)心有戚戚焉,立马回了一条评论:“我早就100多个了。”...

7510
来自专栏企鹅号快讯

科技前沿应用最新动态

用脚印识别大熊猫技术 来源:新华网 研究人员开发出一种新技术,可以通过大熊猫的脚印来识别其身份和性别。 ? 传统的“咬节法”利用大熊猫粪便中尚未消化的竹子皮表面...

20360
来自专栏华章科技

如果有人问你什么是大数据?不妨说说这10个典型的大数据案例

在听Gartner的分析师Doug Laney用55分钟讲述55个大数据应用案例之前,你可能对于大数据是否落地还心存疑虑。Laney的演讲如同莎士比亚的全集一样...

17740
来自专栏华章科技

人类6大未解谜题、世界著名10大思想实验和哲学命题

导读:当人工智能发展到可以跟你流利对话的程度,是否意味着它已真正拥有智能并学会思考?

17020
来自专栏AI科技评论

干货 | 十条学术写作生产力法则

科学研究需要向不同的受众传达新的、令人激动的新发现。而书面交流对于一个想要取得成功的科研人员来说是至关重要的,毕竟,我们都必须写出高水平的文章来获得学位的毕业资...

7120
来自专栏大数据文摘

播报 | 人工智能恐怖故事集:从虚拟空间汉尼拔到种族主义哥斯拉

18720
来自专栏玉树芝兰

巧用MOOC组合掌握机器学习

咱们不提CES 2017上激动人心的自动驾驶产品(估计七八年之后你的驾驶证就可以扔掉了),也不细讲《最强大脑》节目里人类精英在图像识别环节被碾压(这曾经是人类可...

9820
来自专栏PPV课数据科学社区

周末荐读 |数据挖掘导论

一周一读 ? >>>> 作者简介 (美)Pang-Ning Tan / Michael Steinbach /Vipin Kumar Pang-Ning Ta...

36460
来自专栏人工智能头条

泥沙龙笔记:parsing 是引擎的核武器,再论NLP与搜索

15870
来自专栏VRPinea

《猜画小歌》|触手可及的AI,没那么神奇也不那么智障

昨天,“画画”一词“一夜暴富”了。先是“当年不顾家人反对学画画,现如今前途一片渺茫,求大神支招……”的话题上了微博热门;之后,谷歌又默默地推出了《猜画小歌》小程...

13620

扫码关注云+社区

领取腾讯云代金券