大数据在美国,已完成从灰姑娘到公主的蜕变

大数据的老家在哪里?如果从血脉渊源来看,应该在美国。麦肯锡的报告、自然杂志的专刊,以及Gartner、IBM专家的演说都证明了这一点。今天我们就来聊一聊她和她的家乡。

起初,她只是一位灰姑娘

要想富先修路,美国从上世纪50年代开始修路,建起了全美的高速公路网。修路不是一件简单的事情,要人要钱要技术,不过这也正好解决了就业、刺激了经济。路修好了又拉近了距离,人活了,货活了,钱更活了,想去哪里去哪里。

上世纪90年代,风流倜傥的克林顿总统提出要将路修到互联网去,随后全美信息高速公路声势浩荡地开建了。

20年后,这条路修好了,路上承载了更多信息,文字、图片、影音… 类型越来越多,数量也越来越大,不仅如此,以前一年产生的量,如今一个月就生成了。不知不觉中,有人开始头疼如何处理他们,有人开始关注如何挖掘他们,于是,大数据这位灰姑娘进入了人们的视野。

联邦政府看上她

这位灰姑娘的出现,引得越来越多人关注,终于有一天联邦政府看上了她。2012年,奥巴马政府正在筹划修建另一条路,这条路隐于无形,联系着万事万物,像神经一样重要却不可见。那么这次修路的工具和材料哪里来呢,“众里寻他千百度,蓦然回首,那人却在灯火栏珊处”,他们的这次相遇注定将被载入史册。

2012年3月,白宫发布了「大数据研究和发展倡议」(「Big Data Research and Development Initiative」),家里六个兄弟纷纷斥巨资同她合作,听说加起来超过了2亿美元。科学基金(NSF)、卫生研究院(NIH)、能源部(DOE)、国防部(DOD)、国防部高级研究计划局(DARPA)、地质勘探局(USGS)这六个兄弟禀赋异常,与大数据联合起来,简直就是传说中的葫芦七兄妹。

他们的项目列表涵盖了科研教学、环境保护、工程技术、国土安全、生物医药好多领域,半年后,美国再次公布了一批研究项目。至此,美国大数据战略2.0版闪亮登场。

天使与恶魔只在一念间

水能载舟亦能覆舟,如何面对大数据的超能力,联邦政府开始纠结了。2014年5月,白宫发布了白皮书「大数据:抓住机遇,保存价值」(「Big data:seizing opportunities, preserving values」)

(滚动字幕:浙江大学历史数据研究小组的效率堪比美剧字幕小组,第一时间推出了中文版,这次的翻译成员大部分是2012级的浙大本科生,他们来自各个专业,时间紧任务重,想必大家一定付出了很多艰辛)

“抓住机遇,保存价值”—原以为是保存大数据妹妹的价值,通篇读完才知道这是美国人的思维,他们关注的是大数据的超能力对美国价值观的冲击。

这一切源于奥巴马对情报问题的关注。顾问团队90天后提交了两份报告,一份是白皮书,另一份是「从技术角度看待大数据与隐私保护」。(「Big Data and Privacy: A Technological Perspective」)。这让我想到此前去上海电力调研的收获,上海电力信息部门统管科技项目和信息化项目,他们第一年通过科技项目做可行性研究,条件具备的话第二年再上信息化项目。这种台面上一杯水台下一桶水的做法还是靠谱的。

整份报告很纠结,也很让人欣慰

也许我们没有想过大数据可能带来不平等—连锁超市通过数据分析选择在不同区域差异定价造成价格歧视,不使用智能手机人群在打车软件面世后更难打车。

也许我们没有想过大数据可能带来伤害–基因预测模型一旦出错则会误伤一片。

也许我们同样没有想过大数据可能对社会造成潜移默化的负面影响—过滤器泡泡正在孜孜不倦的构筑意识形态和文化的隔离,使每个人都沉浸在自己感兴趣的信息当中,减少冲突体验。时间长了,人们对熟悉领域的愿望和期待增强了,却慢慢忘记了那潜伏在暗夜的,未知爪牙。

纠结完,接下来开始大干一场吧。

兄妹同心 其利断金

大数据给美国政府装上了动力外骨骼。以纽约为例,那里设立了市长数据分析办公室(MODA),通过数据分析来提升政府日常运作水平、预防和处置紧急事件,MODA还和新企业加速服务团队(NBAT)合作,利用量化分析手段评估政府决策。市政府出台一个政策,他们就数据分析这个政策效果如何,好的话就推广不好的话就砍掉。

大数据在美国的公共事业领域也大显身手。美国教育和医疗的信息化一直都走在全球前列,有了大数据,他们可以更进一步了。学校关注如何通过数据分析,来调整教学方法。卫生研究院(NIH)、食品和药物管理局(FDA)这些机构一方面力推生物医学数据共享重用,另一方面着手研发大数据医疗神器,包括流行病预测的、重大疾病早期诊断的,还有像大白这样实时个性化服务的。能源部(DOE)资助建设大数据平台,鼓励公众高效利用能源。波士顿市和麻省理工学院合作利用大数据提供城市交通解决方案。

联邦政府与大数据的这一次合作背后还有很多神秘人物默默支持,他们一方面通过特许协议、年度协议与政府保持联系,另一方面以大咖身份投资最领先的大数据技术,In-Q-Tel(IQT)就是其中的一员,IQT投资了很多数据分析和数据管理的公司,而且主要进行早期投资,尽管投资总额小于红杉、英特尔等大佬,但是参与的大数据领域早期投资数量位居全美第三。

腹有诗书气质华

大数据在美国不是花瓶,她不仅天生丽质,而且勤奋努力,技术功底是相当的扎实。

美国是流行大数据计算框架的发源地。从Google说起,到Hadoop、Spark、Storm,这些框架都来自这里。活跃的开源社区还汇集了全球大数据人才的头脑。

美国还有一批像51区那样神秘的研究机构,硅图(SGI)是其中之一,谁也说不好这家公司目前正在发展怎样的尖端超级计算能力。这些日常生活中鲜有接触的重型装备,在制造业、媒体、生命科学和地球科学这些数据密集型行业可是大有用处。

美国高校也正孕育着一群科学小狂人儿。伊利诺伊大学在Grainger基金会的资助下正在发展一门大数据的工程学科,并且把它当做其他跨学科创新活动的秘密武器。纽约大学、伯克利和华盛顿大学在摩尔和斯隆基金会支持下也在小黄人儿的帮助下开展秘密研究活动。

阿凡达中的灵魂树

大数据已经渗透到美国生产生活的方方面面。这一次的工业对决中,德国工业4.0企图从工业渗透到互联网,美国则要从互联网渗透到工业。美国建设国家制造业创新网络(NNMI),其背后的杀手锏想必就是大数据了。

在零售领域,看看啤酒尿片经典案例诞生地沃尔玛的收购名单就已经让人惊叹不已,Kosmix、SetDirection、OneRiot一大批数据分析和营销应用的初创企业都赫然出现在名单上。农业方面,孟山都这类大型企业不用说了,就连家庭农场主也都将大数据运用得游刃有余,关键是还得到了丰厚的回报。

IBM、Oracle那一帮大佬自然不会落后。IBM将大数据列为企业战略目标,将软件、硬件、咨询服务、研发各个领域的资源都整合起来,正在积蓄着发一个大招。甲骨文也强调垂直整合,早在2011年就推出了集成硬件、存储和软件的大数据机。微软也推出了一体机和大数据产品,明确了普及计算和环境智能的发展战略。英特尔推出Hadoop商业发行版,入股了很多公司。EMC也不断加大并购和研发的投入。

美国最大的亮点的应该还是谷里风起云涌的初创企业,像Cloudera、Hortonworks、MapR这些公司在Hadoop上深耕,Splunk把实时数据分析系统做得越来越强大,Databricks又称为给力Spark,Pivotal提供了企业级大数据基础平台,Tableau的可视化萌萌哒,Flatiron Health试图利用大数据来治愈癌症,人工智能公司Vicarious正在复制人类大脑皮层,还有像Palantir这种帅呆又神秘的大数据分析公司。

我们对她的了解还是太少

上面看起来热闹非凡的场景,放到20年后来看或许只是发动汽车的扬尘。她太神秘、太美丽、太强大,或许以相来求她是错的,或许她终究是无处不在的。

来源:36大数据

原文发布于微信公众号 - 大数据(hzdashuju)

原文发表时间:2015-07-26

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏机器人网

下一波机器人浪潮将会冲击谁?

“中国制造”曾经严重冲击美国传统产业,未来可能出现的“机器人冲击”会不会更加严重?人工智能的波及面更广,这又意味着什么? ? 更新于2017年10月10日 06...

3107
来自专栏机器人网

高交会首设机器人专场 多种尖端机器人汇聚一堂

11月16日,第十一届深圳高新技术成果交易会(以下简称高交会)在深圳会展中心隆重开幕,此前一天,高交会首次设立的机器人分会场——中国高端智能机器人展览会已率先开...

36711
来自专栏AI科技评论

动态 | 谷歌大罢工席卷全球!47个办事处规模超历史,员工公开刊登诉求

美国时间周四即11月1日上午11点,成千上万的谷歌工作人员走出世界各地的办公室,以“Google walkout”为代号,让这次运动迅速席卷全球。员工聚集在苏黎...

872
来自专栏镁客网

没想到乔布斯走后,改变世界的竟然是他!

1562
来自专栏FreeBuf

ISIS网络大战:空洞的威胁还是现实?

极端激进组织ISIS,在全世界积极投身于社交媒体的行为,已被当作是一种强化“圣战”和恐怖袭击的策略。然而,进一步评定ISIS对美国本土实施网络打击的可能性,需要...

2209
来自专栏成猿之路

[书籍福利]大数据:正在到来的数据革命,以及它如何改变政府、商业与我们的生活

1313
来自专栏钱塘大数据

中国首批新能源车主陷入困境:修不了,也修不起!

在现在这个社会,小汽车已经成为了我们说过很多次的话题了,现在人们购买汽车已经越来越注重汽车的环保性,现在很多的汽车厂商都注重研发环保汽车,现在绝大多数的公交车使...

801
来自专栏大数据文摘

VR/AR年度创投报告 | 盘点2016年全球最受资本青睐的企业

1673
来自专栏镁客网

除了汪峰,还有哪些明星跨界做智能硬件

1652
来自专栏华章科技

《中国制造2025》告诉你未来投什么会火

主要涉及,集成电路及专用装备、信息通信设备以及操作系统和工业软件。不断丰富知识产权IP核和设计工具,突破关系国家信息与网络安全及电子整机产业发展的核心通用芯片,...

923

扫码关注云+社区

领取腾讯云代金券