大数据如何知道那么多秘密

知道了大数据隐私的无穷杀伤力后,你也许就会追问,到底什么是大数据吧。

麦肯锡全球研究所说:“大数据是一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合,具有海量的数据规模、快速的数据流转、多样的数据类型和价值密度低四大特征”。还有更多的权威专家们,总结了大数据的若干其它特性,比如,容量的超大性呀,种类的多样性呀,获取的快速性呀,管理的可变性呀,质量的真实性呀,渠道来源的复杂性呀,价值提取的重复性呀,等等。有点晕吧?

其实,形象地说,所谓大数据,就是由许多千奇百怪的数据,杂乱无章地堆积在一起的东西。比如,你主动在网上说的话、发的微博微信、存的照片、收发的电子邮件、留下的诸如上网记录等行动痕迹等,都是大数据的组成部分。在不知道的情况下,你被采集的众多信息,比如,被马路摄像头获取的视频、手机定位系统留下的路线图、在各种情况下被录下的语音、驾车时的GPS信号、电子病历档案、公交刷卡记录等被动信息,也都是大数据的组成部分。还有,各种传感器设备自动采集的有关温度、湿度、速度等万物信息,仍然是大数据的组成部分。总之,每个人、每种通信和控制类设备,无论它是软件还是硬件,都是大数据之源。甚至,像本·拉登那样完全与世隔绝,不对外流露任何蛛丝马迹的人,也在为大数据提供信息;因为,一个大活人,“不对外提供信息”本身,就是一条重要的信息,说明此人必定有超级秘密!

一句话,无论你是否喜欢,大数据它就在那里;无论主动还是被动,你都在为大数据做贡献。

大数据到底是靠什么法宝,才知道那么多秘密的呢?用行话说,它利用了一种名叫“大数据挖掘”的技术,采用了诸如神经网络、遗传算法、决策树方法、粗糙集方法、覆盖正例排斥反例方法、统计分析方法、模糊集方法等高大上的方法。大数据挖掘的过程,可以分为数据收集、数据集成、数据规约、数据清理、数据变换、挖掘分析、模式评估、知识表示等八大步骤。

大数据产业,可能将是世界上最挣钱的产业!无论从工作原理、原料结构,还是从利润率等方面来看,能够与大数据产业相比拟的,也许只有另一个,从来就不被重视的产业,即,垃圾处理和废品回收!

真的,我可不是在开玩笑,更不是在自我贬低哟。

先看工作原理。其实,废品回收和大数据处理几乎如出一辙:废品收购和垃圾收集,可算做是“数据收集”吧;将废品和垃圾送往集中处理工场,算是“数据集成”吧;将废品和垃圾初步分类,算是“数据规约”吧;将废品和垃圾适当清洁和整理,算是“数据清理”吧;将破沙发拆成木、铁、皮等原料,算是“数据变换”吧;认真分析如何将这些原料卖个好价值,算是“数据挖掘”吧;不断总结经验,选择并固定上下游卖家和买家,算是“模式评估”吧;最后,把这些技巧整理成口诀,算是“知识表示”吧!

再看原料结构。与大数据的异构特性一样,生活垃圾、工作垃圾、建筑垃圾、可回收垃圾和不可回收垃圾等,无论从外形、质地,还是从内涵等方面来看,也都是完全不同的。与大数据一样,垃圾的数量也很多,产生的速度也很快,处理起来也很困难。

最后来看利润率。有人曾在纽约路边的垃圾袋里,一分钱不花就捡到了价值百万美元的,墨西哥著名画家鲁菲诺·塔马约的代表作《三人行》。即使不考虑这些“天上掉下来的馅饼”,就算将收购的易拉罐转手卖掉,也胜过铝矿利润率;将旧家具拆成木材和皮料,其利润率也远远高于木材商和皮货商。与垃圾专家一样,大数据专家也能将数据(废品)中挖掘出的旅客出行规律卖给航空公司,将某群体的消费习惯卖给百货商店,将网络舆情卖给相关的需求方等等,总之,大数据专家完全可以“一菜多吃”,反复卖钱,不断“冶金”,而且一次更比一次赚钱,时间越久,价值越大。

  • 发表于:
  • 原文链接:http://kuaibao.qq.com/s/20180108C08U0200?refer=cp_1026

扫码关注云+社区