前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >化繁为简说「数据」

化繁为简说「数据」

作者头像
黄成甲
发布2018-09-12 15:00:45
5890
发布2018-09-12 15:00:45
举报
文章被收录于专栏:黄成甲黄成甲

世界的万千变化一直超乎我们的预测,自2012年以来,大数据一词成了人类生活的代名词。如今,数据几乎已经渗透到了每一个行业的每一个领域之中,成了不可或缺的生产因素。每一天,互联网都会繁衍出无数的数据,这些内容足以刻满2亿张光碟;而手机客户端发出的帖子和邮件总数可达到3000万亿,如此惊人的数据使得对海量数据的挖掘和分析,成了企业发展的重要内容。大数据的数量大、类型多、时效快、价值密度低的特点,让这个世界充满了变数和乐趣。

文/黄成甲

大数据到底是什么

大数据术语最初来源于Apache org的开源项目Nutch。那个时候的意思是更新网络搜索索引,同事还需要批量处理和分析大量的数据集。目前对大数据的统一理解是指那些大小规格超越传统数据库软件工具抓取、存储、管理和分析能力的数据群,这个数据群规模在10TB,通过多用户将多个数据集集合在一起,能构成PB的数据量。

IBM公司概括大数据有四个V,也就是大量化(Volum),多样化(Variety)和快速化(Velocity)、价值化(Value)。很多企业已经开始使用PB、EB、ZB、YB来定义数据量,他们之间的换算关系是1024。其次,数据类型是多样化的,此前的数据库用二维表结构存储方式就可以存储数据,譬如常见的Excel软件中处理的数据,这称为结构化数据。可是现在随着互联网多媒体应用的出现,像是文本、声音、图片和视频等等非结构化的数据所占的比重日益增多。其三就是海量数据处理。随着大数据的涌现,已经有很多用于密集型数据处理的架构应运而生,比如Apache Hadoop,它具有开放源码以及在商业集群中运行的特性。最后,数据金矿就是大数据的价值化。通过数据挖掘,得到有价值的营销信息、风控信息、交易信息,金融信息。

电子商务与大数据

说到电子商务与大数据,就不得不提到阿里巴巴的千人千面——数据化运营。要实现数据化运营,有三招:

第一招,挖掘数据。数据挖掘需要数据分析师采用数据分析挖掘的工具和方法对数据进行分析挖掘,找到数据意义——数据反映了什么问题,数据中反映了哪些市场的新现象以及需要做出什么样的决策来应对。例如:看到了网络上婴儿奶粉的销量忽然增高的时候,就可以预测到其他婴儿用品:婴儿推车、婴儿纸尿裤等的销量会随之上升。

第二招,沟通数据。数据分析师通过与业务部门的沟通,在看到数据的时候,能很快分析出数据背后的意义。这就需要打通数据与数据之间的联系,这是非常重要的,也是能够进行准确数据分析的基础。

第三招,对数据进行运营和分享。任何事物的发展都需要一个范围作为约束,数据也一样,需要一个具体的框架来具体分析企业的业务水平究竟如何。因此,给数据搭建框架非常重要,有了合适的框架,才能对数据进行更加准确的分析,也就能更加直观地分析企业业务的好坏。数据的框架,就是一个标准,能够将数据在同样的层面下进行分解的标准。指标化分解是一种重要的分解方式,能够将混乱的数据整理出条理,并客观地分析企业的业务。这样的方式就类似于生活中,因为感冒而去医院检查,医生首先要求验血来判断是不是病毒性感冒一样。根据客观的数据得出真实的结论,然后对症下药,效果才会立竿见影。

数据与企业管理决策

说到利用大数据进行企业管理决策就不得不提到沃尔玛,沃尔玛的管理经验的核心之一就是它科学化的数字管理。顾客在逛超市的时候,不会只买一种商品,而是会买很多相关的商品。例如,顾客想要购买大米的时候,就好顺带购买做菜需要的蔬菜、油、各种调味品等。顾客在购买洗衣服的时候,就好想到购买卫生纸、香皂等日用品。很多顾客的购买动机都是偶然的,很可能因为一个降价的标志,而购买了很多原本没有想要购买的商品。沃尔玛将大量的数据整合分析之后,发现一条规律:如果商品之间具有一定的相关性,一般为互补品关系,就好增加商品的销售量。例如,沃尔玛通过数据分析发现,超市里蔬菜、肉类和食用油的销售比例为100:80:10。足以证明上述规律是普遍存在的。

无数据,不生活

凡事发生钱都会有先兆。现实生活当中,许多事情由于无法实时记录,看上去就好像是“人似秋鸿有来信,事如春梦了无痕”那样。互联网在实时记录方面则是“出出痕痕处处痕”。如果上网买东西,一定会先浏览、对比、再询价,如果上网搞活动的话,一定要经过征集、讨论和策划的整个过程。互联网通过服务器实现了“请求”+“响应”机制,人们大量带有先兆性质的行为数据被保留了下来。收集完这些数据要进一步进行分析,而这些大量数据后面隐藏着的因果关系也就会被计算出来了。因此这当中的规律或被神秘化,或被庸俗化。

IBM公司曾有一则广告,“曾经我觉得追捕罪犯是我的工作,可是现在我重新认识了我的工作。通过分析犯罪数据来识别犯罪的模式,并由此来部署警力。这样一来美国大部分城市的重大犯罪率可以降低30%。案发之前,终结犯罪。”——这就是智慧地球。

大数据改变思维尺度

大数据所昭示ID是一种颠覆性的思维方式,改变的是思维的尺度。正是因为大数据可以给我们带来例如精准预测、精准营销,所以谷歌这样的互联网公司的广告业务代替了传统的报业集团,而奥巴马、特朗普则可以利用大数据这样数据驱动营销的方式来帮助自己获得竞选成功。

在企业层面,像阿里小贷这样的公司,利用阿里系统里商家的交易数据,在没有担保又没有抵押的情况下,仍可以商家贷款。

本文参与 腾讯云自媒体分享计划,分享自作者个人站点/博客。
原始发表:2018.07.15 ,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体分享计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
相关产品与服务
对象存储
对象存储(Cloud Object Storage,COS)是由腾讯云推出的无目录层次结构、无数据格式限制,可容纳海量数据且支持 HTTP/HTTPS 协议访问的分布式存储服务。腾讯云 COS 的存储桶空间无容量上限,无需分区管理,适用于 CDN 数据分发、数据万象处理或大数据计算与分析的数据湖等多种场景。
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档