大数据时代的裸奔

 1、相关关系比因果关系更重要   老王开了个包子铺,有时做少了不够卖,有时做多了没卖完,两头都是损失。老王琢磨着买包子的都是街坊,他们买包子是有规律的,例如老张只在周六买,因为闺女周末会来看他,而且闺女就爱吃包子。于是老王每卖一次就记次账,谁在哪天买了几笼包子,并试图找出每个街坊的买包子规律。   数据虽然越记越多,但老王啥规律也没找出来,即使是老张也都没准,好几个周六都没来买,因为他闺女有事没来。有个人给老王支招,你甭记顾客,就记每天卖了多少笼就行,这个法子明显简单有效,很容易就看出了周末比平时会多卖两笼的规律。   这个例子虽然简单,却道出了大数据的一个重要特点【相关关系比因果关系更重要】,周末与买包子人多就是相关关系,但为什么多呢?是因为老张闺女这样的周六来吃包子的人多?还是周末大家都不愿意做饭?对这些可能性不必探究,因为即使探究往往也搞不清楚,只要获得了周末买包子的人多,能正确地指导老王在周末时多包上两笼,这就行了。   要相关不要因果,这是大数据思维的重要变革,以前数据处理的目标更多是追求对因果性的寻找,或是对猜测的因果性的验证,人们总是习惯性地找出个原因,然后心里才能踏实,而这个原因是否是真实的,却往往是无法核实的,而虚假原因对面向未来的决策来说是有害无益的。承认很多事情是没有原因的,这是人类思维方式的一个重大进步。   2、要全体不要抽样   传统的调查方式都是抽样的,抽取有限的样本进行统计,从而得出整体的趋势来,之所以选择抽样而不是统计全部数据,只有一个原因,那就是全部数据的数量太多了,根本没法操作。   抽样的核心原则就是随机性,不随机就不能反映整体趋势性。例如搞一个保暖内衣的调查,找了一群精壮的武警战士试穿,战士们穿上了普遍反映不冷,但这并不能说明内衣的保暖效果有多好。   抽样随机性的道理谁都知道,但要做到随机性其实是很难的。例如电视收视率调查,要从不同阶层随机找被调查人,但高学历高收入的大忙人们普遍拒绝被调查,他们根本就不会为几条毛巾赠品而耽误时间,愿意接受调查的多是整天闲得无聊的低收入者,电视收视率的调查结果就可想而知。   互联网为大数据的采集带来的新手段,云计算为处理大数据带来了新方法。还以电视收视率调查为例,互联网电视普及后,每一部电视正在收看什么节目的信息会毫无遗漏地发送到调查中心。这就是大数据的第二个特点【要全体不要抽样】,对全部数据进行统计分析,其结果当然会更加准确。   3、要效率不要精确   俗话说的好,萝卜快了不洗泥,既然我们要的是全体数据,自然会夹杂进来一些错误的数据,这是难以避免的。我们传统的数据分析的思路是“宁缺勿烂”,因为传统小数据分析的数据量本身并不大,任何一个错误数据都有可能对结果产生相对较大的负面影响,对错误数据必须花大精力去清除,这是小数据时代必须坚持的原则。   大数据时代的原则就变了,变成了【要效率不要精确】,并不是说精确不好,而是因为在大数据时代是做不到的,如果继续把排除错误数据作为重要工作,那大数据分析就进行不下去了。更重要的是,大数据分析的目标在于预测,而不在于追溯以前发生过的事件的真相。   4、大数据时代的裸奔   有次我给学生畅想未来,你走在大街上,基站的智能天线以一道极窄的波束指向你的手机,从而获得你的方位角,通过开机瞬时的上百次功率调整和探询,换算后就能获得你与基站的距离,两个信息结合就精准地确定了你的位置。根据你的搜索记录,互联网早已知道了你的爱好,然后手机“滴”地一声通知你,你前方10米处右侧有您最喜爱吃的咸豆腐脑店,正在八折酬宾中,“滴”地又来了一声,老板已得知您是咸豆腐脑的忠实拥护者,特别给您打五折,来尝一碗呗。   在我描绘完未来信息社会的全新生活方式后,有个学生问我:我走在大街上,手机“滴”地一声,通知我前面有个同志聚会,系统通过我以前的搜索和看过的片子早已确定了我的性向,并将我的信息经过精确配对发送给了好多基友,但我并不想出柜,这可咋整啊?   这个学生的玩笑话道出了大数据时代我们都面临的一个重大问题,那就是隐私权问题。美国某机构曾做过一个实验,根据网友的搜索记录来筛定目标,虽然信息已经进行了模糊,还是有不愿意出柜的基友被筛出来了,基友的妈妈非常震惊和生气,将该机构告上了法庭。   微博上常有维权人士声称电话被政府监听了,因为手机语音出现了不正常的声音,其实这是他们多心了,他们的电信知识还停留在用鳄鱼夹搭电话线窃听的阶段。并不是说政府不会窃听,而是说如果政府窃听你的电话,你是绝对察觉不出来的,多手段全方面的监控手段早已超出了外行的想象力。即使是技术内行,例如卖国家机密的间谍被收网后往往会马上崩溃,他所有的电话短信邮件出行会面谈话都有清清楚楚的铁证。   犯罪成本太高了,将来无死角的摄像监控头会记录下一切,即使你犯罪时蒙着面,根据前两天你没蒙脸踩点时的录像,通过姿态步态的匹配算法就能把你筛选出来。现在公安系统有句话“只要上手段,没有查不出来的”,上手段就是指包括摄像头监控、手机监控、网络监控等综合手段。现在的基础设施还不完善,等将来所有的路灯杆都变成了多传感监控器,加上强大的大数据分析能力,你还想咋藏?   更有意思的是,将来的犯罪逮捕会变成事前,有天你啥事没做睡在床上就被逮捕了,警察通告你:根据警方对你所有信息的大数据分析,显示你已经知道了老婆出轨之事,根据以往犯罪案例及你本人性格的大数据分析结果,你有76.3%的概率会在本周内对老婆进行轻伤以上程度的犯罪,超过了法律规定的60%轻伤以上犯罪概率必须入监的标准,特羁押你一个月,根据大数据分析结果,放出来后的你仍然犯罪的概率会降低到法律规定可以释放的5%以下。   听着很安全吧?但是不是也感到了毛骨悚然?在大数据时代,我们每个人都是赤条条地在信息社会中裸奔,真的是光着屁股一丝不挂地那种裸奔,难到没有人意识到这点吗?当然不是,英国等西方国家早就对街道监控摄像头展开了全社会的大讨论,安全与隐私该如何权衡?随着近年来随着恐怖主义的盛行,安全显然更重要了,公民们很无奈地同意把更多的隐私权交给了政府,以获得更大的安全感。   必须对公民隐私信息进行分级制的严管,公安部门掌握着每个人的开房信息,如果不涉及到重大违法犯罪的话,绝不能滥加使用,更不能透露给当事人的配偶,否则社会就会大乱。掌握信息和利用信息的应是独立的两个机构,如果让利用信息的公安部分掌管公民所有隐私信息,那就会成为一个人人自危的恐怖国家。   我们现在该如何做好迎接大数据时代的准备?我觉得应该培养公权机构绝不能泄露公民隐私的社会舆论,前几天网上流传着范冰冰的机场安检照,记者们以此做娱乐文章称人家如何如何,这就是一个极坏的兆头!如果放任这种公权力的滥用,我们每个人将来都会成为光屁股裸奔的人,光不光屁股则取决于掌握公民信息的权力人士的一念之差。   最近有报道称银行内鬼贩卖账户信息,银行方面居然称这事主要靠自觉,他们内部查不出来。这事也是大恶!查不出来是因为银行内部缺乏相应的技术手段,根本就没有建立起相应的信息保密制度,这种不作为是未来大数据时代的严重隐患。   前两天我参加一个学生的婚礼,作为导师我被安排在领导桌,刚坐定就有个陌生人来照相,询问后才知是婚宴酒商的员工,把我们作为背景来照酒的照片,估计是用于宣传。我把他轰走了,我不愿意这个数据留在网上,不愿意让它将来作为分析我的大数据资料。   结论:与以往的抽样统计不同,大数据使用的是全部数据,更着重的是效率而不是数据的精确性,关注的是相关性而不是因果性,这些特点造就了大数据对事物发展的极强的预测能力,它可以给我们带来更安全更便捷的新生活,同时也给个人隐私带来了巨大的威胁,对掌握公民隐私信息的公权力的严格控制,应该成为全社会的共识。

  后记:   我现在基本不写专栏而改写长微博了,原因有三个:一是长微博不限字数,而传统纸媒要求必须在3千字以内,很难通过举例子的方式把道理讲透彻;二是作者们都会讨厌编辑的修改,他们往往不能理解作者的真实意图,改得你非常的难受,而长微博的每一个字都是自己做主的;三是长微博收益高,纸媒文章也就千字几百,被网友认同的长微博收益要高些,而且网友自愿支付,对作者来说更有成就感。   我真不是有些网友谬赞的通信大牛,大牛都在实验室里,你见不到也不会认识,我只是一个教通信专业基础课的普通老师。如果自夸下,那就是一位知识面较广受学生喜爱的好老师,唯一长处就是擅于把复杂的专业问题简单化,具有一定深入浅出的授课和写作能力。   业余时间写稿子挣点外快是我的生活方式,尤其是在网上这些年的历练,让我摸到了针对普通公众的科普写法,不管你是学什么的,我写的东西保证让你懂,而且保证你获得的知识是正确的而且是有价值的。   这篇文章我定的默认打赏额度是4.99元,为什么是这个数呢?因为 [英]维克托.迈尔-舍恩伯格肯尼思.库克耶所著的《大数据时代》一书的定价49.9元,我以此书为基础,又参考了其它书籍文献,结合我以前学习过的数据仓库和数据挖掘知识,把内容进行了提炼和总结。我的想法是:通过阅读这篇文章,只花费您原书1/10的金钱,浪费您读原书的1/10的时间,您就能获得原书知识的精华。   以前有网友开玩笑说,奥老师你比我挣的多,我就不打赏了啊。我笑着反问他,马云比你有钱多了,为啥你还在给淘宝做贡献呢?那是因为马云给你提供了服务,你是为服务付的费,不是给首富马云的赏钱,这跟谁挣钱多没关系,而且我就是个挣死工资的老师,就指着写点文章挣点外快。   从父母要生活费的学生们不要打赏,把钱留着多打份肉菜吧,我的劳动报酬有已经工作的成年人支付,还轮不到你们为社会秩序做贡献。踏踏实实地学本领才是正事,绝对不要当微博控,千万不要跟我攀比,我玩微博写科普不仅是对自身知识的梳理过程,而且还能挣点钱,你们玩微博就是纯粹浪费生命。

原文发布于微信公众号 - Java学习网(javalearns)

原文发表时间:2017-08-09

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏大数据文摘

未来,你将和你的机器人一同进化

2549
来自专栏灯塔大数据

荐读|富有哲理的12条大数据金句 让你秒成大数据“砖家”

对《圣经》所有了解的朋友,可能会知道在《圣经》(启示录21章2节)中有个广为传颂的名言: ——看哪!上帝的帐幕在人间。他要与人同往,他们要作他的子民;上帝要亲自...

2894
来自专栏精讲JAVA

你给我月薪三千,我凭什么给你干出八千的工作量

那年我刚毕业,幸运的面上了一家软件公司,工资三千,二线城市,勉强生活,但是老板人很热情,我来的时候还专门把我叫到办公室,对我说,我非常喜欢年轻人,...

932
来自专栏新智元

【典藏】清华唐杰AMiner团队全球H-index Top 10000学者半世纪迁移图 (附AI历史大事件)

【新智元导读】人才都去了哪里?清华唐杰副教授AMiner团队,调查世界顶级10,000个学者(h-index最高的学者)过去50年在世界各地的迁移图。从MS-D...

3138
来自专栏机器学习算法与Python学习

程序猿媳妇儿注意事项!(文末高能)

键字全网搜索最新排名 【机器学习算法】:排名第一 【机器学习】:排名第一 【Python】:排名第三 【算法】:排名第四 来自:小象 这是一位程序员媳妇儿的自白...

2632
来自专栏PPV课数据科学社区

人类首次把跑车送上太空, 9本好书让你Don’t Panic!

2月7号凌晨,在全球逾十万现场观众瞩目下,佛罗里达肯尼迪航天中心 LC-39A 发射工位,SpaceX的“重型猎鹰”(Falcon Heavy)首飞成功并完成了...

2914
来自专栏腾讯社交用户体验设计

天天P图"前世青年照”设计故事

1101
来自专栏君赏技术博客

你是否变成了你自己

来参加会议都是一些大公司技术顶尖的大神,不但技术上很厉害,还有其他方面也是挺厉害的。

841
来自专栏新智元

【机器人性爱大会】主题演讲:人和机器人生孩子已成可能 | 情人节特稿

新智元报道 作者:赵以文 朱允文 【新智元导读】随着技术的发展,以及AI研究者的不懈努力和追求,机器终有一天能够“思考”,而一旦承认了机器人能思考,那么...

31013
来自专栏高性能服务器开发

用户增长怎么做?我在Uber和摩拜的实战经验

身为程序员,我们不能只是埋头于技术,更要放眼于产品、运营、公司长远的战略目标。 今天为大家推荐一篇非常赞的文章,很荣幸曾经和文章作者共事过一段时间。 作者周喆吾...

3715

扫码关注云+社区