化繁为简说「数据」

世界的万千变化一直超乎我们的预测,自2012年以来,大数据一词成了人类生活的代名词。如今,数据几乎已经渗透到了每一个行业的每一个领域之中,成了不可或缺的生产因素。每一天,互联网都会繁衍出无数的数据,这些内容足以刻满2亿张光碟;而手机客户端发出的帖子和邮件总数可达到3000万亿,如此惊人的数据使得对海量数据的挖掘和分析,成了企业发展的重要内容。大数据的数量大、类型多、时效快、价值密度低的特点,让这个世界充满了变数和乐趣。

文/黄成甲

大数据到底是什么

大数据术语最初来源于Apache org的开源项目Nutch。那个时候的意思是更新网络搜索索引,同事还需要批量处理和分析大量的数据集。目前对大数据的统一理解是指那些大小规格超越传统数据库软件工具抓取、存储、管理和分析能力的数据群,这个数据群规模在10TB,通过多用户将多个数据集集合在一起,能构成PB的数据量。

IBM公司概括大数据有四个V,也就是大量化(Volum),多样化(Variety)和快速化(Velocity)、价值化(Value)。很多企业已经开始使用PB、EB、ZB、YB来定义数据量,他们之间的换算关系是1024。其次,数据类型是多样化的,此前的数据库用二维表结构存储方式就可以存储数据,譬如常见的Excel软件中处理的数据,这称为结构化数据。可是现在随着互联网多媒体应用的出现,像是文本、声音、图片和视频等等非结构化的数据所占的比重日益增多。其三就是海量数据处理。随着大数据的涌现,已经有很多用于密集型数据处理的架构应运而生,比如Apache Hadoop,它具有开放源码以及在商业集群中运行的特性。最后,数据金矿就是大数据的价值化。通过数据挖掘,得到有价值的营销信息、风控信息、交易信息,金融信息。

电子商务与大数据

说到电子商务与大数据,就不得不提到阿里巴巴的千人千面——数据化运营。要实现数据化运营,有三招:

第一招,挖掘数据。数据挖掘需要数据分析师采用数据分析挖掘的工具和方法对数据进行分析挖掘,找到数据意义——数据反映了什么问题,数据中反映了哪些市场的新现象以及需要做出什么样的决策来应对。例如:看到了网络上婴儿奶粉的销量忽然增高的时候,就可以预测到其他婴儿用品:婴儿推车、婴儿纸尿裤等的销量会随之上升。

第二招,沟通数据。数据分析师通过与业务部门的沟通,在看到数据的时候,能很快分析出数据背后的意义。这就需要打通数据与数据之间的联系,这是非常重要的,也是能够进行准确数据分析的基础。

第三招,对数据进行运营和分享。任何事物的发展都需要一个范围作为约束,数据也一样,需要一个具体的框架来具体分析企业的业务水平究竟如何。因此,给数据搭建框架非常重要,有了合适的框架,才能对数据进行更加准确的分析,也就能更加直观地分析企业业务的好坏。数据的框架,就是一个标准,能够将数据在同样的层面下进行分解的标准。指标化分解是一种重要的分解方式,能够将混乱的数据整理出条理,并客观地分析企业的业务。这样的方式就类似于生活中,因为感冒而去医院检查,医生首先要求验血来判断是不是病毒性感冒一样。根据客观的数据得出真实的结论,然后对症下药,效果才会立竿见影。

数据与企业管理决策

说到利用大数据进行企业管理决策就不得不提到沃尔玛,沃尔玛的管理经验的核心之一就是它科学化的数字管理。顾客在逛超市的时候,不会只买一种商品,而是会买很多相关的商品。例如,顾客想要购买大米的时候,就好顺带购买做菜需要的蔬菜、油、各种调味品等。顾客在购买洗衣服的时候,就好想到购买卫生纸、香皂等日用品。很多顾客的购买动机都是偶然的,很可能因为一个降价的标志,而购买了很多原本没有想要购买的商品。沃尔玛将大量的数据整合分析之后,发现一条规律:如果商品之间具有一定的相关性,一般为互补品关系,就好增加商品的销售量。例如,沃尔玛通过数据分析发现,超市里蔬菜、肉类和食用油的销售比例为100:80:10。足以证明上述规律是普遍存在的。

无数据,不生活

凡事发生钱都会有先兆。现实生活当中,许多事情由于无法实时记录,看上去就好像是“人似秋鸿有来信,事如春梦了无痕”那样。互联网在实时记录方面则是“出出痕痕处处痕”。如果上网买东西,一定会先浏览、对比、再询价,如果上网搞活动的话,一定要经过征集、讨论和策划的整个过程。互联网通过服务器实现了“请求”+“响应”机制,人们大量带有先兆性质的行为数据被保留了下来。收集完这些数据要进一步进行分析,而这些大量数据后面隐藏着的因果关系也就会被计算出来了。因此这当中的规律或被神秘化,或被庸俗化。

IBM公司曾有一则广告,“曾经我觉得追捕罪犯是我的工作,可是现在我重新认识了我的工作。通过分析犯罪数据来识别犯罪的模式,并由此来部署警力。这样一来美国大部分城市的重大犯罪率可以降低30%。案发之前,终结犯罪。”——这就是智慧地球。

大数据改变思维尺度

大数据所昭示ID是一种颠覆性的思维方式,改变的是思维的尺度。正是因为大数据可以给我们带来例如精准预测、精准营销,所以谷歌这样的互联网公司的广告业务代替了传统的报业集团,而奥巴马、特朗普则可以利用大数据这样数据驱动营销的方式来帮助自己获得竞选成功。

在企业层面,像阿里小贷这样的公司,利用阿里系统里商家的交易数据,在没有担保又没有抵押的情况下,仍可以商家贷款。

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏CDA数据分析师

2017内存不足,数据分析师该如何Review自己的2017?(附福利)

作者 付宇骄 2017,转眼还剩34天,作为数据分析师,如何Review自己这一年?本文笔者将带领大家通过自己的某一个习惯性行为的记录,把自己的一年串起来。 1...

1836
来自专栏Java架构

同样的工作、同样的做需求,为什么他们能进阿里?

古人云:“活到老,学到老。”互联网算是最辛苦的行业之一,“加班”对工程师来说已是“家常便饭”,同时互联网技术又日新月异,很多工程师都疲于应付,叫苦不堪。以至于长...

905
来自专栏web前端教室

电话面试能成功,全靠开头3分钟

前端开发到目前为止,依然是个新鲜岗位,大规模的需要前端开发的城市,估计也就是北上广了,但求职的同学们全国哪里都有,所以如果你也在找前端工作的话,很有可能会遇到电...

5749
来自专栏大数据钻研

从0到1去转型到大数据圈子

前言:对于一个陌生的领域,最重要的还是方向,有人引导那会更好,把有限的时间花在必要的事上,做一件正确的事。 说明:这篇文章是新年后的第一篇文章,算是微信互动问答...

2968
来自专栏python+iOS学习交流

iOS程序员是如何获得高薪的?

经常听见朋友抱怨自己水平和同事不相上下,甚至更强,工资却没有别人的高,主要原因有两个:

1820
来自专栏landv

不要迷失在技术的海洋中

1995
来自专栏服务端技术杂谈

这个时代,写给我们这些浮躁的程序员

2010 年初写过一篇博客(我们是一群和平年代充满浮躁与抱怨的程序员),一年过去了,社会好像更浮躁,也有网友问我这方面的问题,于是有了下面这篇文章,再次写 给我...

31011
来自专栏BestSDK

网站编辑如何转行为产品经理?

image.png 1 关于转型 这是一次从网编到PM华丽丽的转型——增强的是逻辑和信心,褪去的是浮躁与懒散。 还记得刚刚接手产品工作的那几个月真是一段令人难忘...

2409
来自专栏美团技术团队

工程师如何在工作中提升自己?

2325
来自专栏Python中文社区

Python分析网易云音乐近5年热门歌单

專 欄 ❈作者:瑶妹妹先生,知乎专栏:折数,关于网络编程、数据挖掘,数据可视化,摄影后期等。 ❈ 网易云音乐几乎是我唯一的听歌消遣的平台了,平...

3035

扫码关注云+社区

领取腾讯云代金券