海量数据, 为何总是 "海量垃圾" ?!

2017.9.10, 深圳, Ken Fang

雷军说:我拥有海量的数据, 却不知道怎么用?每年, 花在存储海量数据的费用, 也是海量;足以使企业破产⋯ 为何会如此?

当我们将所谓 “海量数据分析” 的神秘面纱给揭开时, 打破 “海量数据分析” 的神话, 就会很容易的明白, 真正的问题到底出在哪?为何谷歌能做到的, 我们却做不到?

大家都明白的 Common Sense: 做海量数据分析, 要先能建立数据模型;有了数据模型, 我们才能从 “海量” 数据中, 去提炼出 “有用” 的数据。 海量数据分析最关键、最重要的ㄧ步:将海量数据 “转换” 为有用的数据。

而数据模型建立的前提是: @ 要能先分析出, 产生数据背后的 “用户的目的” 。例如:用户是基于什么样的社会事件?天灾?人祸?的触发, 而生成数据的。 @ 所采集到的数据, 从 “时间” 的纬度, 必需是要有 “延续性” 的。

所以⋯ @ 当我们所拥有的数据, 虽然是海量, 但, 我们却不知道, 这些数据是为何而产生的?更糟糕的是, 数据之间, 完全没办法, 经由 “时间”, 而归纳出 “人类行为的模式”。 这样的数据, 再如何的 “海量”, 也根本没法经由 “数据分析师”, 使用任何的数据分析工具, 建立出任何有效的数据模型;海量数据将永远没办法转换为有用的数据。

为什么谷歌能做得到? 因为, 谷歌有 “搜索引擎”⋯

“搜索引擎” 使得谷歌能⋯ @ 分析出产生海量数据, 其背后的用户的目的。 @ 能采集到随着 “时间” 的演进, 而持续生成的数据;人类的行为数据。

这也就是为什么:谷歌可以早ㄧ步的就能 “精准” 的预知到, 某种流行病, 接下来会在美国的那一州流行。

所以, 别再采集, 更别再存储: “海量”、“没目的”、“没意义”、“不持续性” 的数据了⋯

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏程序员互动联盟

为啥有些人编程一学就会?

很多人初学者对现在很多的技术大牛觉得羡慕不已,会的编程语言太多了,对于编程语言说起来如数家珍。会这么多的语言,是不是天才或者有什么特异功能,入门时候一门语言都要...

35880
来自专栏数据的力量

被“妖魔化”的数据分析

20080
来自专栏数据科学与人工智能

【数据科学】成为一个数据科学家的九个步骤

数据科学和数据分析发展迅速,给该领域带来了众多工作机,但是可用人才匮乏。这给那些想找新工作的人提供了希望。 ? 但是如何才能成为一个数据科学家呢? 首先,每个...

28160
来自专栏PPV课数据科学社区

大数据安全分析—可视化篇

熟悉金字塔原理的人都了解一个事实,人脑的短期记忆最大能够保持7个左右的元素,这意味着在分析工作中只能跟踪非常有限的数据。 而可视化作为探索、展示和表达数据含义的...

42860
来自专栏爱原型爱设计

0设计经验,如何找到一份UX设计师的工作?

UX (User Design) 设计师作为全球最受欢迎的高薪工作之一,截止至2017年,一名高级用户体验设计师的年薪已平均高达86,071美元,这也是为什么广...

29880
来自专栏腾讯大讲堂的专栏

腾讯发布《2017中国移动游戏质量白皮书》,专注手游品质提升

引言1月8日,腾讯质量开放平台WeTest正式发布《2017中国移动游戏质量白皮书》。 此次的《2017中国移动游戏质量白皮书》,分别从研发概况、市场硬件环境、...

29850
来自专栏ThoughtWorks

项目管理中的敏捷实践|洞见

作为项目经理,我们经历了不同的项目,却总是受限于相似的困局。比如以下三个典型难题: 团队目标不一致 团队成员不熟悉 信息发布不流畅 倘若我们任由问题存在,而不...

41650
来自专栏张善友的专栏

浅谈软件架构师的素质与职责

最近开始学习如何成为一名合格的架构师。首先参照别人的观点,在结合自己的实际经验,写出自己对如何成为一名架构师的理解,希望大家热心于与援手,能够指点一二. 沟通能...

20170
来自专栏腾讯大讲堂的专栏

服务设计思维

在目前的日常工作中,我们的视野往往只着眼于屏幕上的人机交互,我们的身体也很少离开办公室以外的环境。那么,是否有一些思维方法,能够帮助我们站在更加宏观的角度上去思...

66190
来自专栏理论坞

如果你是一名产品经理,这10条建议或许对你有帮助

知乎的热门问题“作为产品经理,过去的一年都有哪些进步、收获与成长?”本文整理了一份不错的回答,希望从事产品经理的你有所收获。

11020

扫码关注云+社区

领取腾讯云代金券