【周末漫谈】一篇漫画,读懂大数据

大数据是具有海量、高增长率和多样化的信息资产,它需要全新的处理模式来增强决策力、洞察发现力和流程优化能力。

大数据通常都拥有海量的数据存储。仅根据2013年的统计,互联网搜索巨头百度已拥有数据量接近EB级别、阿里、腾讯声明自己存储的数据总量都达到了百PB以上。此外,电信、医疗、金融、公共安全、交通、气象等各个方面保存的数据量也都达到数十或者上百PB级别。

面对这样规模的数据存储量,依靠单台数据库服务器显然是不够的,需要以分布式文件系统(例如 HDFS)作为基石。

在传统的关系型数据库中,所存储的数据都是结构化的,例如:

但是在现实生活中,信息往往并没有严格的结构限制。比如一个电商网站需要记录如下用户行为:

用户张三, 于某某时间在商品搜索栏搜索了“苹果手机”一词,然后进入 XXX 商铺进行浏览,经过与店家沟通,讨价还价,最终以6000元的价格购买了 iPhone 7 “钢琴黑”款式手机一部。

诸如此类的用户行为数据属于非结构化数据,很难用关系型数据库存储。因此诸多No-SQL数据库(例如 HBase)成为了存储大数据的更好选择。

如果没有更加快速有效的海量数据解决方案,那么如此大量多样的数据不但没有带来更多价值,反而成为了系统的负担。关于这一点,谷歌公司率先提出的MapReduce模型为我们带来了新的道路。

MapReduce可以简单的理解成一种分治方法:把庞大的任务分成若干小任务,交给多个节点进行并行处理,然后再把所有节点的处理结果合并起来,从而大大提升了数据处理效率。(关于MapReduce的详细流程,将会在以后的文章中进行讲解。)

人工智能:

以大数据作为机器学习的训练集,从而训练出拥有一定决策能力的人工智能。典型的代表案例就是谷歌的AlphaGo, 通过大量围棋棋局的学习,最终拥有了打败围棋世界冠军的能力。

商业分析:

从大量的用户行为数据中挖掘出有价值的商业信息。典型代表是著名社交公司LinkedIn,他们通过用户之间的关联关系,绘画出学校、公司、人才之间庞大而复杂的信息网络。不仅如此,LinkedIn还通过大量求职者和招聘方的信息,分析出哪些公司正在迅速扩张,哪些公司正在流失人才,哪些公司之间正在展开人才市场的争夺。这些对于客户公司来说,都是无价之宝。

犯罪预测:

洛杉矶警察局曾经借助一套原本用于预测地震后余震的大数据模型,把过去80年内的130万个犯罪记录数据输入进去,结果发现其预测出的犯罪高发地点与现实惊人的吻合。后来该预测算法经过改进,已经成为了当地警局重要的参考依据,大大降低了当地的犯罪率。

这里所介绍的相关知识,只是作者对于大数据领域的浅层次理解。通过这篇漫画,希望没有从事过IT行业,或者不了解大数据的朋友们能够对大数据有一些初步的认知。

本文来源:钱塘号

原文发布于微信公众号 - 钱塘大数据(qtbigdata)

原文发表时间:2017-07-01

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏程序员笔记

自由体验

1986
来自专栏华章科技

细数大数据行业的四大误区

大数据这个词,恐怕是近两年IT界炒的最热的词汇之一了,各种论坛、会议,言必谈大数据,“大数据”这个词,在IT界已经成了某果一样的“街机”或者叫“街词”,不跟风说...

502
来自专栏灯塔大数据

大数据分析:最难的不是分析,而是大数据

从先进的BI工具到机器学习,人工智能,现代企业拥有着各式各样整理分析数据的方法和途径。数据科学家和企业领导人都关注着这些新技术的巨大潜力,然而,当我们将焦点放在...

3876
来自专栏Netkiller

项目管理·质量管理·无缺点管理

本文节选自电子书《Netkiller Management 手札》 3.6.1. 无缺点管理zero defects management 由...

2577
来自专栏新智元

【深度】摩尔定律的黄昏,十大方向带来计算行业的黎明 | 新智元出品

摩尔定律支配了计算领域 44 年的时间,今年终于宣告终结。在这之后计算领域会发生什么事?得益于半导体和芯片技术而高度繁荣的手机、PC 产业,会受到怎样的影...

3475
来自专栏大数据文摘

大数据和隐私:政府必须选择!(下)

2457
来自专栏机器之心

SIA重磅报告解读半导体行业前景:涵盖分布式、认知和生物计算等

选自SIA 作者:Sohrab Aftabjahani等 机器之心编译 参与:机器之心编辑部 SIA,美国半导体产业的代表组织。美国半导体产业是美国顶尖出口产业...

2675
来自专栏鸿的学习笔记

大数据概览系列(一)

就像互联网一样,大数据是我们今天生活的一部分。从搜索,在线购物,视频点播,到网上约会,大数据总是幕后的重要角色。有些人声称,物联网(IoT)将会接管大数据作为最...

651
来自专栏华章科技

移动互联网和大数据时代下的IT企业变革之道-敏捷思维

如腾讯董事会主席马化腾指出互联网的出现犹如蒸汽机和电的发明,已经彻底改变了世界的模式;而移动互联网的出现更像人类新的DNA,从本质上蜕变催生出一个新的世界。人类...

623
来自专栏PPV课数据科学社区

【资讯】IBM通过超级计算机使用大数据来解决大问题

IBM喜欢大数据,获取的越多,就越能向用户销售出更多的服务器、存储和服务。但是由于IBM获取的大数据容量已经过大,导致这家公司的研发人员很难驾驭这些数据。举 例...

2546

扫描关注云+社区