关于“大数据”的五大误解

美国《外交政策》杂志网站5月9日刊登微软研究院首席研究员、麻省理工学院公民媒体中心客座教授凯特·克劳福德的一篇文章,文章说,“大数据”是当前的时髦术语,是技术界用来解决世界上最难处理的问题的全能办法。

文章说,这个术语一般用来描述对海量信息进行分析,从而发现规律、收集有价值的见解和预言复杂问题答案的技巧与科学。它也许听起来有些乏味,但是从制止恐怖分子,到消除贫困,到拯救地球,对于大数据的鼓吹者来说,没有什么问题是解决不了的。

维克托·梅耶—舍恩伯格和肯尼思·丘基尔在有着朴素书名的《大数据:一次将改变我们生活、工作和思考方式的革命》一书中欢呼道:“对社会的好处将是无穷无尽的,因为大数据在一定程度上将解决迫在眉睫的全球问题,如处理气候变化、根除疾病以及促进善政和经济发展等。”

只要有足够多的数据可以处理——不管是iPhone上的数据、杂货店购物状况、在线约会网站个人简介或者是整个国家的匿名健康记录,利用对这些原始数据进行解码的计算能力,人们可以获得数不胜数的有价值的见解。甚至连奥巴马政府也已经赶上了这股潮流,并在5月9日向企业家、研究人员和公众“破天荒”发布了大量“以前难以获取或难以管理的数据”。

然而,文章说,大数据真的完全像人们吹嘘的那样吗?人们能相信众多的1和0将能揭示人类行为的隐秘世界吗?以下是作者对所谓大数据理论的思索。

1.“有了足够的数据,数字就可以自己说话”

文章说,没门儿。大数据的鼓吹者希望人们相信,在一行行的代码和庞大数据库的背后存在着有关人类行为模式的客观、普遍的有价值的见解,不管是消费者的支出规律、犯罪或恐怖主义行动、健康习惯,还是雇员的生产效率。但是许多大数据的传道者不愿正视其不足。数字无法自己说话,而数据集——不管它们具有什么样的规模——仍然是人类设计的产物。大数据的工具——例如Apache Hadoop软件框架——并不能使人们摆脱曲解、隔阂和错误的成见。当大数据试图反映人们所生活的社会化世界时,这些因素变得尤其重要,而人们却常常会傻乎乎地认为这些结果总是要比人为的意见来得客观些。偏见和盲区存在于大数据中,就像它们存在于个人的感觉和经验中一样。不过存在一种值得怀疑的信条,即认为数据总是越大越好,而相关性也等同于因果关系。

例如,社交媒体是大数据分析的一个普遍的信息源,那里无疑有许多信息可以挖掘。人们被告知,推特网的数据显示人们在离家越远的时候越快乐,而且在9日晚上最为沮丧。但是存在许多理由对这些数据的含义提出质疑。首先,从皮尤研究中心获悉,美国上网的成年人中只有16%使用推特网,因而他们绝对不是一个具有代表性的样本——与整体人口相比,他们中年轻人和城市人的比例偏多。此外,许多推特账号是被称作“机器人”程序的自动程序、虚假账号或是“半机器人”系统(即得到机器人程序辅助的人为控制账号)。最近的估计显示,可能存在多达2000万个虚假账号。因此就算人们要想踏入有关如何评估推特网用户情绪的方法论雷场之前,先问一下这些情绪究竟是来自真人,还是来自自动化算法系统。

2.“大数据将使我们的城市变得更加智能和高效”

文章指出,在一定程度上是的。大数据可以提供帮助改善城市的宝贵见识,但是它对人们的帮助仅此而已。因为数据在生成或采集的过程并不都是平等的,大数据集存在“信号问题”——即某些民众和社区被忽略或未得到充分代表,这被称为数据黑暗地带或阴影区域。因此大数据在城市规划中的应用在很大程度上取决于市政官员对数据及其局限性的了解。

例如,波士顿的Street Bump应用程序是一个比较聪明的以低成本收集信息的途径。该程序从开车经过路面坑洼处的驾驶员的智能手机上收集数据。更多类似的应用正在出现。但是如果城市开始依靠仅来自智能手机用户的信息,那么这些市民只是一个自我选择样本——它必然导致拥有较少智能手机用户的社区的数据缺失,这样的社区人群通常包括了年老和不那么富有的市民。尽管波士顿的新城市机械办公室作出了多项努力来弥补这些潜在的数据缺陷,但不那么负责的公共官员可能会遗漏这些补救措施,最终会得到不均衡的数据,从而进一步加剧已有的社会不公。人们只要回顾一下曾经过高估计了年度流感发病率的2012年“谷歌流感趋势”,就可以认识到依赖有缺陷的大数据可能给公共服务及公共政策造成的影响。

文章说,在网上公开政府部门数据的“开放政府”计划——如Data.gov网站及“白宫开放政府计划”——也存在同样的情况。更多的数据未必会改善政府的任何功能,包括透明度和问责,除非存在可以使公众和公共机构保持接触的机制,更不用说促进政府解释数据并以足够的资源作出反应的能力。所有这些都非易事。事实上,人们身边还没有很多技能高超的数据科学家。各大学目前正在争相定义这一领域、制订教程和满足市场需求。

3.“大数据对不同的社会群体不会厚此薄彼”

文章称,几乎不是这样。对大数据所号称的客观性的另一个期待是对于少数群体的歧视将会减少,因为原始数据总是不含社会偏见的,这使得分析可以在整体水平上进行,从而避免基于群体的歧视。然而,由于大数据能够作出有关群体不同行为方式的论断,它们的使用通常恰恰就是为了实现一个目的——即把不同的个体归入不同的群体中。例如,最近有一篇论文指出科学家听任自己的种族偏见影响有关基因组的大数据研究。

文章认为,大数据有可能被用来搞价格歧视,从而引发严重的民权担忧。这种做法在历史上曾被称为“划红线”。最近,剑桥大学对脸谱网5.8万个“喜欢”标注进行的大数据研究被用来预测用户极其敏感的个人信息,如性取向、种族、宗教和政治观点、性格特征、智力水平、快乐与否、成瘾药物使用、父母婚姻状况、年龄及性别等。记者汤姆·福尔姆斯基这样评价该项研究:“此类容易获得的高度敏感信息可能会被雇主、房东、政府部门、教育机构及私营组织用来对个人实施歧视和惩罚。而人们没有任何抗争的手段。”

文章说,最后考虑一下在执法方面的影响。从华盛顿到特拉华州的纽卡斯尔县,警方正在求助于大数据的“预测性警事”模型,希望能够为悬案的侦破提供线索,甚至可以帮助预防未来的犯罪。不过,让警方把工作专注于大数据所发现的特定“热点”,存在着强化警方对声誉不佳的社会群体的怀疑以及使差别化执法成为制度的危险。正如某位警察局局长撰文指出的,尽管预测性警事登记系统不考虑种族和性别等因素,但是如果没有对差别化影响的考虑,使用这种系统的实际结果可能“会导致警方与社区关系恶化,让公众产生司法程序缺失的感觉,引发种族歧视指控,并使警方的合法性受到威胁”。

4.“大数据是匿名的,因此它不会侵犯我们的隐私”

文章说,这个观点大错特错。尽管许多大数据的提供者尽力消除以人类为对象的数据集中的个体身份,但身份重新被确认的风险仍然很大。蜂窝电话数据看起来也许相当匿名,但是最近对欧洲150万手机用户的数据集进行的研究表明,只需要4项参照因素就足以挨个确认其中95%的人员的身份。研究人员指出,人们在城市中走过的路径存在唯一性,而鉴于利用大量公共数据集可以推断很多信息,这使个人隐私成为“日益严重的担忧”。

但是大数据的隐私问题远远超出了常规的身份确认风险的范畴。目前被出售给分析公司的医疗数据有可能被用来追查到你的身份。关于个性化医疗有很多谈论,人们的希望是将来可以针对个人研制药物和其他疗法,就好像这些药物和疗法是利用患者自己的DNA制作出来的。就提高医学的功效而言,这是个美妙的前景,但这本质上依赖于分子和基因水平上的个人身份确认,这种信息一旦被不当使用或泄露就会带来很大的风险。尽管像RunKeeper和Nike+等个人健康数据收集应用得到了迅速发展,但在实践中用大数据改善医疗服务仍然还只是一种愿望,而不是现实。

文章指出,高度个人化的大数据集将成为黑客或泄露者觊觎的主要目标。维基揭秘网一直处在近年几起最严重的大数据泄密事件的中心。正如人们从英国离岸金融业大规模数据泄露事件中看到的,与其他所有人一样,世界上最富有的1%人口的个人信息也极易遭到公开。

5.“大数据是科学的未来”

文章说,部分正确,但它还需要一些成长。大数据为科学提供了新的途径。人们只需看一下希格斯玻色子的发现,它是历史上最大规模网格计算项目的产物。在该项目中,欧洲核子研究中心利用Hadoop分布式文件系统对所有数据进行管理。但是除非认识到并着手解决大数据在反映人类生活方面的某些内在不足,否则人们可能会依据错误的成见作出重大的公共政策和商业决定。

为了解决这个问题,数据科学家正在开始与社会科学家协作。随着时间的推移,这将意味着找到把大数据策略和小数据研究相结合的新途径。这将远远超越广告业或市场营销业采用的做法,如中心小组或A/B测试(即向用户展示两个版本的设计或结果,以确定哪一个版本的效果更好)。确切地说,新的混合式方法将会询问人们做某些事情的原因,而不只是统计某件事情发生的频率。这意味着在信息检索和机器学习之外,还将利用社会学分析和关于人种学的深刻认识。

技术企业很早就意识到社会科学家可以帮助它们更加深刻地认识人们与其产品发生关系的方式和原因,如施乐公司研究中心就曾聘请了具有开拓精神的人类学家露西·萨奇曼。下一阶段将是进一步丰富计算机科学家、统计学家及众多门类的社会科学家之间的协作——不仅是为了检验各自的研究成果,而且还要以更加严格的态度提出截然不同的各类问题。

考虑到每天有大量关于人们的信息——包括脸谱网点击情况、全球定位系统(GPS)数据、医疗处方和Netflix预订列表——被收集起来,人们迟早要决定把这样的信息托付给什么人,以及用它们来实现什么样的目的。人们无法回避这样的事实,即数据绝不是中立的,它很难保持匿名。但是人们可以利用跨越不同领域的专业知识,从而更好地辨别偏见、缺陷和成见,正视隐私和公正将面临的新挑战。

(完)

原文发布于微信公众号 - 安恒信息(DBAPP2013)

原文发表时间:2013-05-20

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏BestSDK

世界上第一位程序员是名女性,为何到现在绝种了?

你脑中的计算机程序员是什么样?是男性,年轻的男性吗?你是对的,因为事实如此。数一数每天出现在科技媒体上的人名:比尔·盖茨、史蒂夫·乔布斯、伊隆·马斯克、马克·扎...

36490
来自专栏CreateAMind

「桥水」是一家怎样的机构?

19120
来自专栏腾讯研究院的专栏

戴若犁:虚拟中的现实

image.png 演讲摘要 戴若犁:虚拟中的现实 人的动作,是一个很有趣的研究课题。我们经常讲肢体语言,讲人的动作姿态里面往往蕴含着非常多的信...

209100
来自专栏数据的力量

心理学名家告诉你,11个不容忽视的教育的关键

教育是人类永恒的话题。对成长规律的探索,不仅让我们更加了解孩子,也更加懂得个体生命的意义,从而改变自己。

11230
来自专栏大数据和云计算技术

"Google X"大起底

“Google X”来源 Google X,是谷歌公司最神秘的一个部门,位于美国旧金山的一处秘密地点,该实验室的机密程度堪比CIA,仅少数几位谷歌高层掌握情况...

30440
来自专栏大数据文摘

可穿戴设备之父艾里克斯·本特

18550
来自专栏机器人网

智能机器人能够超越人类吗?

人工智能等新技术、新材料的突破,不断拓展着人们对机器人的想象空间。智能机器人会比人更强吗? 一千个人心中有一千个哈姆雷特,而对于机器人的想象,可能就只有一个:像...

35950
来自专栏大数据钻研

注意!我们的世界在被大数据悄悄的改变!

大数据目前是当下最火热的词了,你要是不知道大数据这个概念,都不好意思在众人面前开口了。然而实际上很多人都对大数据的应用模糊不清。但其实大数据的广泛应用已经在悄悄...

34350
来自专栏机器学习AI算法工程

人工智能的本源:一本书和两个学术家族的故事

? 大家好! 非常高兴来参加听道和中国自动化协会联合举办的这次公益活动。我今天就跟大家谈一点人工智能的历史和本源,还有相关的一些话题,但不谈技术。那么这次报告...

35380
来自专栏机器人网

起底谷歌疯狂黑科技,百度和谷歌不止隔着一个太平洋

谷歌在创新的路上越走越远,而百度在致富的步子上越走越急。看到下面这些谷歌黑科技,我才明白谷歌和百度不止隔着一个太平洋! 智能隐形眼镜 ? 据谷歌称,它正在开发一...

35240

扫码关注云+社区

领取腾讯云代金券