【周末漫谈】一篇漫画,读懂大数据

大数据是具有海量、高增长率和多样化的信息资产,它需要全新的处理模式来增强决策力、洞察发现力和流程优化能力。

大数据通常都拥有海量的数据存储。仅根据2013年的统计,互联网搜索巨头百度已拥有数据量接近EB级别、阿里、腾讯声明自己存储的数据总量都达到了百PB以上。此外,电信、医疗、金融、公共安全、交通、气象等各个方面保存的数据量也都达到数十或者上百PB级别。

面对这样规模的数据存储量,依靠单台数据库服务器显然是不够的,需要以分布式文件系统(例如 HDFS)作为基石。

在传统的关系型数据库中,所存储的数据都是结构化的,例如:

但是在现实生活中,信息往往并没有严格的结构限制。比如一个电商网站需要记录如下用户行为:

用户张三, 于某某时间在商品搜索栏搜索了“苹果手机”一词,然后进入 XXX 商铺进行浏览,经过与店家沟通,讨价还价,最终以6000元的价格购买了 iPhone 7 “钢琴黑”款式手机一部。

诸如此类的用户行为数据属于非结构化数据,很难用关系型数据库存储。因此诸多No-SQL数据库(例如 HBase)成为了存储大数据的更好选择。

如果没有更加快速有效的海量数据解决方案,那么如此大量多样的数据不但没有带来更多价值,反而成为了系统的负担。关于这一点,谷歌公司率先提出的MapReduce模型为我们带来了新的道路。

MapReduce可以简单的理解成一种分治方法:把庞大的任务分成若干小任务,交给多个节点进行并行处理,然后再把所有节点的处理结果合并起来,从而大大提升了数据处理效率。(关于MapReduce的详细流程,将会在以后的文章中进行讲解。)

人工智能:

以大数据作为机器学习的训练集,从而训练出拥有一定决策能力的人工智能。典型的代表案例就是谷歌的AlphaGo, 通过大量围棋棋局的学习,最终拥有了打败围棋世界冠军的能力。

商业分析:

从大量的用户行为数据中挖掘出有价值的商业信息。典型代表是著名社交公司LinkedIn,他们通过用户之间的关联关系,绘画出学校、公司、人才之间庞大而复杂的信息网络。不仅如此,LinkedIn还通过大量求职者和招聘方的信息,分析出哪些公司正在迅速扩张,哪些公司正在流失人才,哪些公司之间正在展开人才市场的争夺。这些对于客户公司来说,都是无价之宝。

犯罪预测:

洛杉矶警察局曾经借助一套原本用于预测地震后余震的大数据模型,把过去80年内的130万个犯罪记录数据输入进去,结果发现其预测出的犯罪高发地点与现实惊人的吻合。后来该预测算法经过改进,已经成为了当地警局重要的参考依据,大大降低了当地的犯罪率。

这里所介绍的相关知识,只是作者对于大数据领域的浅层次理解。通过这篇漫画,希望没有从事过IT行业,或者不了解大数据的朋友们能够对大数据有一些初步的认知。

本文来源:钱塘号

原文发布于微信公众号 - 钱塘大数据(qtbigdata)

原文发表时间:2017-07-01

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏机器之心

Python扩大领先优势,PyTorch仅占6.4%:2018年数据科学语言&工具排名

1276
来自专栏挖掘大数据

10个大数据误区,看看你中了几个?

刚接触大数据的朋友最容易产生以下误解,下面就让我把这些误解分别介绍一下,看看你有没有进入这些误区。

2035
来自专栏企鹅号快讯

VR技术的进步推动工业机器人革命

这项成果象征着业界正朝着让机器人了解视觉世界的未来更迈进了一步。今天,人类专家通常以一种相对较缓慢的两步骤过程训练厂房中的机器人重复几个动作,但这有时还需要人类...

18310
来自专栏人工智能快报

科学家将为机器人装配人工智能视觉技术

《每日科学》网刊登了来自英国金斯顿大学的文章,称科学家将为机器人装配人工智能视觉技术。 英国金斯顿大学(Kingston University)的专家将探讨如何...

2748
来自专栏CDA数据分析师

“揭秘”大数据的10个神话!

本文整合自恒信国通 也许对大数据更好的一个类比是它就像一匹意气风发的冠军赛马: 通过适当的训练和天赋的骑师,良种赛马可以创造马场记录–但没有训练和骑手,这个强大...

1855
来自专栏PPV课数据科学社区

【观点】数据挖掘三要素解析

我对数据挖掘和机器学习是新手,从去年7月份在Amazon才开始接触,而且还是因为工作需要被动接触的,以前都没有接触过,做的是需求预测机器学习相关...

2635
来自专栏AI科技大本营的专栏

AI 技术讲座精选:仿生计算的未来——与人脑匹敌的计算机

【AI100 导读】随着人机大战的不断上演,我们有理由相信,未来的人工智能能够与人脑匹敌。是否有一天,人工智能可以完全代替人脑?答案不置可否,但是人工智能会给人...

3468
来自专栏新智元

机器的意识可以量化吗?冯诺依曼体系无法诞生超级智能

【新智元导读】本文作者是艾伦脑科学研究所所长兼首席科学官,他从计算主义和整合信息论的两种观点出发,探讨了“机器是否拥有意识”这个长期争论的话题,以及如何界定和计...

3679
来自专栏大数据文摘

除了A/B测试,你还需要搜集这些数据!

1061
来自专栏SDNLAB

物联网中的边缘计算:提高网络效率以减少流量

企业对边缘计算越来越感兴趣,因为随着更多物联网设备的部署,企业需要快速分析和处理它们生成数据的方法。目标是消除将数据传输回云或内部数据中心的需要。

925

扫码关注云+社区