大数据时代的三个规律

规律一:知其然而不必知其所以然 外行打败内行

我先讲一个案例就是葡萄酒。葡萄酒怎么品酒?过去是靠品酒方面的专家。他会先闻一闻,什么味道、什么香味,然后看看是不是挂杯,最后告诉你,这个酒大概是什么庄园的,什么年份的。但是,当品酒师在品新酒时,因为葡萄酒真正的品质还没有形成,所以这个时候,他的鉴定是永远靠不住的。另外,当一个品酒师的声誉越来越高时,由于要照顾到自己声誉,他不敢做大胆的判断。

普林斯顿大学有一个经济学家也很喜欢收藏葡萄酒,他就想能不能自己预测出这一年这个地方的葡萄酒的品质如何?然后他就开始去找来很多数据,最后得到了一个秘诀。葡萄酒的品质跟跟冬天的降雨量、生长期的平均气温、收获季节的降雨量、土壤的成分等等这些因素有关。1989年,葡萄酒刚刚下来,他说今年的葡萄酒是世纪佳酿,1990年他又做出预测,说今年的葡萄酒比1989年的更好。连续两年说是世纪佳酿,一般的品酒师都不敢这么评,但是最后事实证明他说的完全正确。

第二个案例,怎么寻找潜在的棒球球星?著名的财经作家麦克刘易斯写的书《Moneyball》,后来拍成电影叫《点球成金》,讲到一个球队教练遇到了一个经济学家,他们用很另类的办法,实际上就是用数据,把每一个选手的场上记录拿过来,用数据去找,看谁是好的球星,这跟传统的行规完全不一样,但是后来非常成功。

我们原来讲,要知其然,还要知其所以然。但是现在大数据时代,你可以知其然,不一定非要知其所以然。如果你去问普林斯顿大学的教授,为什么这个酒好?到底是什么香味?酒回甘是什么?他也不知道。但是他能够知其然,他能够做出来判断。为什么呢,很可能是我们原来的认知里头,我们执意去要寻找一些线性的、双边的直接因果关系。但是很可能万物之间的联系比我们想象中的要复杂,他可能是非线性的,可能是多元的。所以出问题的不是数据,出问题的是我们原来的认知模式。怎么办?一个办法,退而求其次,你可能要先去寻找相关关系,然后再去找是否有因果关系。

规律二:彻底的价格歧视 商家比你更了解你自己

有一个机构,专门做信用卡的刷卡记录。他们攒了大量的数据之后,拿这些数据做分析,最后找到很多很奇怪的规律。比如,你是否离婚与你信用卡上的还款记录和你驾驶车辆出车祸的概率有关系。比如在大数据时代大家可能会听到的一个比较有名的例子,就是沃尔马最早的时候发现很多奇怪的规律,比如尿布和啤酒的销售量是有相关关系的。

这俩东西怎么会联在一起?市场调查人员最后发现,往往当有新生的小孩之后,买尿布的任务就给新爸爸。尽管新生的宝贝的出来他的贡献也没有多少,但是他有一种自豪感,他去买了尿布时,为了庆祝,他会顺手去买啤酒。如果你在尿布的旁边就直接摆上啤酒,啤酒的销量就会提高。还有一个店,专门卖母婴用品的部门搜集顾客的信息去研究。比如说研究什么时候你可能会怀孕,你可能会买更多的母婴用品,而营养品会增加,或者一些没有香味的洗发剂,最后就可以预测潜在的客户到底是谁。

所以大数据时代,动摇了我们原来的方法论。

有一个赌场,进去之后会刷卡,而你的基本信息全都在这个磁卡上面。包括国籍、性别、年龄等等全就掌握。他有一个庞大的数据库,可以算出每个人的痛苦点,即如果输钱超过了这个痛苦点,从此之后再也不来这个赌场。而赌场最好的办法是在你快要达到痛苦点之前叫你住手。

所以当你快要到达那个痛苦点的时候,你的旁边就会突然出现一个年轻貌美的公关经理,说先生玩得很累了吧,要不要休息一下,我们这个赌场刚请了一个法国大厨会做非常好的法国大餐,你很幸运,你被选我们的幸运顾客,请你和太太一起去享用免费的法国大餐!很好,但你不要忘了,当你享受到你觉得物超所值的服务时,往往就是你的最后一分钱被别人榨完了!包括信用卡调整额度,很可能也是在大数据的基础之上自动调整额度。

那这个带来了一个变化。原来经济学讲到,商家不能搞价格歧视,不是因为道义上不能,而是由于在过去商家很难对不同的顾客,进行价格歧视,你必须要定统一的价格。但这是过去的规律,在大数据的时代,这个规律被彻底颠覆。在大数据的时代,商家可以精准的针对每一个个体的消费者定价,把你最后的一分钱全部榨干,因为他比你自己更了解你的行为。你都不知道你的车可能要去保养了,他就已经给你发消息;你自己都不知道,身体已经处于亚健康状态需要去旅游放松,旅行社马上就会给你打电话。你说它怎么会这么了解我的心,大数据在帮他的忙。会用大数据的商家都是偷心者,都会把你的心偷走,他可以精准的定价。

规律三:打破专家的信息优势 病人给医生解惑

那我们接着再讲一个案例,电视连续剧《豪斯医生》的医学顾问是纽约时报的一个专栏作家。他是倡导寻证医学的一个代表人物。寻证医学就是根据证据来治病。过去看病时,要先研究病理学,然后再研究治疗办法,而且有很多是一代一代口传下来的。老师告诉,维生素B12口服的效果不好,必须打针。为什么?不知道,反正是老师的老师就这么告诉老师的。所以你的老师也这么告诉你,你就这么再告诉你的学生。但是后来发现,这里头有很多问题。

为什么现在医患之间的纠纷这么多?实际上医院的误诊比例非常高。美国有一份研究称美国医院误诊比例大概是1/3,有20%的重大疾病的死亡原因是由于误诊。为什么?因为过去完全靠经验,有很多都是主观的。到现在来说,医学不是科学,医学研究的是复杂的生命体,所以它还没有到能够精准治病的程度。

后来,大夫开始另辟蹊径,他通过数据最后找出规律。19世纪一个医生发现,如果医生先去了停尸房再回来给妇女接生,产妇的死亡率明显提高,而洗手之后死亡率下降,那个时候还不知道细菌和病菌。所以当时每一个医生都要洗手。没有哪个病理学能够告诉你洗手跟降低死亡率有关系,但是后来死亡率就大幅度下降。所以这就是寻证依据的思路,减少医生的自主权利,也有道理。就如坐飞机时,飞行员能不能想停就停、想起飞就起飞?不行。飞行员其实没有多少自主权,需要严格的按照操作程序一步一步去做。当这些所谓的专业人士的自主权被剥夺之后,你就会发现越来越安全。

所以按照大数据,医生最后发现他自己被边缘化了。因为有了互联网,有了大数据之后,病人有时候比医生还要精。美国有一个报道,有一个病人被推到病房里头,他有多种免疫功能紊乱,一群大夫会诊,最后都不知道到底这个病是什么。最后,主治医生问这个病人,你觉得这个病大概是什么。病人说我知道,我这个病就是IPEX。你怎么知道的,他说很简单,我把症状在谷歌里一搜,马上就诊断出来了。

原来医生能够治病,是因为他的专业比你强,他信息比你多,而现在你的信息跟他一样多。你可以拿着谷歌上打印出来的资料跟他说,“你的诊断错了,按照我在谷歌上,我应该是这个病,不是你那个病”,完全颠覆了原来信息不对称的情况,所以大数据时代的第三个规律就是打败、打破了专家的信息优势。为什么我要一开始就跟大家讲不要信专家,因为在大数据的时代没有专家。

大数据的时代,专家可能反而会误事。比如谷歌有一个机器翻译,一开始可能翻译的很差,但是慢慢发现他的翻译水平越来越好。为什么?谷歌机器团队里头总结出来一个经验,说凡事当小组里解雇了一个语言学家,我们翻译的精确程度就提高了,因为语言学家老在挑毛病,最后剩下来的全部是不懂语言计算机专家和数学家的时候,没有专家在那里指手划脚。

最后的启示就是我们不能相信,我们也不能相信我们内心中的专家。

往往我们的认识模式里,对自己的能力盲目信任,往往会过分夸大自己的能力。所以,现在有一个投资的方法,叫量化投资。原来是价值投资:这个东西是不是物有所值,如果说它被价值低估了,你赶紧去买它,以后它价格会起来。现在讲的是,你不用管它到底有价值没有价值,我只看它是涨还是跌。

那看什么?看量化投资。量化投资靠什么?靠大数据。但是量化投资到最后是谁来执行,不是靠数学天才。数学天才的贡献是发现了一套投资方法,然后由电脑来执行。为什么要让计算机来执行而不让人?因为一个人哪怕你心理素质再高,哪怕你智商再高,总有无知和贪婪的时候。所以最好的办法就是,放弃自己的主动性。

原文发布于微信公众号 - PPV课数据科学社区(ppvke123)

原文发表时间:2014-01-06

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏华章科技

任正非致歉华为前程序员:回来吧,公司错了

如上所示,内文还转发了社区帖子《寻找加西亚》,其中提到“孔令贤,我们期待你”、“回来吧,加西亚,是公司对不起你”。

13620
来自专栏量子位

专访DeepMind CEO:阿法狗让我震惊,要用AI理解宇宙 | 万字长文

国庆 李林 编译整理 量子位 报道 | 公众号 QbitAI ? 哈萨比斯,DeepMind创始人兼CEO。 DeepMind开发出人工智能围棋程序AlphaG...

366160
来自专栏MixLab科技+设计实验室

读《引爆点》

这是我精心挑选了18本给0岁运营的书单。中的《引爆点》一书的读书笔记。 只有纪录下来的才是自己的。 书中的道理很深刻,关键在于平常有意识地应用到实践中! ---...

30170
来自专栏VRPinea

不想凑热闹?VR冥想为你创造专属“秘密花园”

32870
来自专栏钱塘大数据

清华校长演讲:在未来面前,我们都无知的像孩子

本文是清华大学副校长、清华大学生命科学学院院长,中国科学院院士施一公教授曾发表的,名为《生命科学认知的极限》的演讲。

11830
来自专栏新智元

专访 DeepMind CEO:超级英雄 Demis Hassabis

通过他的公司DeepMind,伦敦人Demis Hassabis正在领导着谷歌的一个计划——创造比人类大脑更强力的软件。但是,这对于人类的未来而言,意味着什么?...

38060
来自专栏VRPinea

从抑郁到精神分裂,我们离VR心理治疗到底有多远!

58980
来自专栏企鹅号快讯

扬言毁灭人类的索菲亚再一次挑战了人类

最近有位频频登上外国电视台的“人”非常火, 她叫“索菲亚”。皮肤细腻,眉清目秀,金发碧眼, 长得和奥黛丽赫本还有几分相似, ? 活脱脱一个美女,不知各位是否想一...

29970
来自专栏机器人网

成功秘诀是?剑桥大学教授拜访100个富人,竟有80%~

成功的人,有什么共同的特质呢?(美联社) 人活在世上是为了什么?金钱?名利?往往到最后我们才发现,活出自我才是最主要的。只是现在的我们是在为自己而活吗?还有...

28940
来自专栏牛客网

软工女硕士的秋招之路:9offer的漫漫征途

本人软工女硕士一枚,没有拿到BAT,没有拿到网易,但是还是想总结和分享一下自己的找工作经历,希望以后找工作的小伙伴能够得偿所愿~  复习内容:剑指offer,C...

46860

扫码关注云+社区

领取腾讯云代金券