海量数据, 为何总是 "海量垃圾" ?!

2017.9.10, 深圳, Ken Fang

雷军说:我拥有海量的数据, 却不知道怎么用?每年, 花在存储海量数据的费用, 也是海量;足以使企业破产⋯ 为何会如此?

当我们将所谓 “海量数据分析” 的神秘面纱给揭开时, 打破 “海量数据分析” 的神话, 就会很容易的明白, 真正的问题到底出在哪?为何谷歌能做到的, 我们却做不到?

大家都明白的 Common Sense: 做海量数据分析, 要先能建立数据模型;有了数据模型, 我们才能从 “海量” 数据中, 去提炼出 “有用” 的数据。 海量数据分析最关键、最重要的ㄧ步:将海量数据 “转换” 为有用的数据。

而数据模型建立的前提是: @ 要能先分析出, 产生数据背后的 “用户的目的” 。例如:用户是基于什么样的社会事件?天灾?人祸?的触发, 而生成数据的。 @ 所采集到的数据, 从 “时间” 的纬度, 必需是要有 “延续性” 的。

所以⋯ @ 当我们所拥有的数据, 虽然是海量, 但, 我们却不知道, 这些数据是为何而产生的?更糟糕的是, 数据之间, 完全没办法, 经由 “时间”, 而归纳出 “人类行为的模式”。 这样的数据, 再如何的 “海量”, 也根本没法经由 “数据分析师”, 使用任何的数据分析工具, 建立出任何有效的数据模型;海量数据将永远没办法转换为有用的数据。

为什么谷歌能做得到? 因为, 谷歌有 “搜索引擎”⋯

“搜索引擎” 使得谷歌能⋯ @ 分析出产生海量数据, 其背后的用户的目的。 @ 能采集到随着 “时间” 的演进, 而持续生成的数据;人类的行为数据。

这也就是为什么:谷歌可以早ㄧ步的就能 “精准” 的预知到, 某种流行病, 接下来会在美国的那一州流行。

所以, 别再采集, 更别再存储: “海量”、“没目的”、“没意义”、“不持续性” 的数据了⋯

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏Java学习网

看看未来的应用开发

记得巨大的庞然大物应用程序部署在前提与client-owned服务器?还记得矛盾修饰法是速度和质量?由于云及其作为催化剂作用加速创新周期、速度和质量可以一起工作...

2667
来自专栏PPV课数据科学社区

《游戏数据分析的艺术》之游戏数据分析的流程(下)

点击上方 “蓝色字” 可关注我们! 作者:TalkingData高级咨询总监 - 于洋力作《游戏数据分析的艺术》第一章第一节的前三点的重点阐述。 来源:Talk...

29410
来自专栏灯塔大数据

探秘 | 大数据创业真火,快看看这十家都是干啥的?

IDC预测,数据总量将从2016年的16.1ZB增长到2025年的163ZB。调研公司MarketsandMarkets预计,管理这些数据并让这些数据变得更有价...

2658
来自专栏纯洁的微笑

如何运用 DDD 解决团队协作与沟通问题?

领域驱动设计的核心是“领域”,因此要运用领域驱动设计,从一开始就要让团队走到正确的点上。当我们组建好了团队之后,应该从哪里开始?

882
来自专栏JAVA高级架构开发

闲话如何成为一个架构师

虽然此种类比不一定恰当。也许你就想简简单单、安安静静写写代码,这种想法没错。国外,就有很多老程序员,与世无争的写代码,把代码写漂亮,没有那么功利非要给自己挂一个...

570
来自专栏大数据钻研

想找份更好的编程工作应该学什么?

编者按:Swizec Teller认为,这个问题的问题也许在于问错了问题。 许多人都问我类似这样的问题“我应该学什么才能拿到一份编程工作?”或者“我怎么才能在硅...

2707
来自专栏ThoughtWorks

TW洞见 | 徐昊谈结对:要更快的编码,还是要更快的交付

1. 我今天有几个问题想咨询你一下,首先第一个问题就说,你在,以敏捷教练来帮助团队实施敏捷的过程中,最经常遇到的一个团队发现的问题是什么?就说因为我这边也待过一...

2847
来自专栏钱塘大数据

如果云计算是一个容器,大数据就是这个容器里的水

云计算技术就是一个容器,大数据正是存放在里面的水。 ? 云计算与大数据是什么关系? 云计算的关键词在于“整合”,无论你是通过现在已经很成熟的传统的虚拟机切分型技...

3374
来自专栏美团技术团队

【技术博客】数据驱动精准化营销在大众点评的实践

精准化营销一直以来都是互联网营销业务在细分市场下快速获取用户和提高转化的利器。在移动互联网爆发的今天,数据量呈指数增长,如何在移动和大数据场景下用数据驱动进行精...

3369
来自专栏Albert陈凯

大数据方向的十个岗位

随着大数据的趋势引起的越来越多的重视,各大企业对与大数据相关高端人才的需求也越来越紧迫。这一趋势,也给想要从事大数据方面工作的人员提供了难得的职业发展机遇。 ...

3546

扫码关注云+社区