【大数据分析】大数据分析方法 及 相关工具

要知道,大数据已不再是数据大,最重要的现实就是对大数据进行分析,只有通过分析才能获取很多智能的,深入的,有价值的信息。

越来越多的应用涉及到大数据,这些大数据的属性,包括数量,速度,多样性等等都是呈现了大数据不断增长的复杂性,所以,大数据的分析方法在大数据领域就显得尤为重要,可以说是决定最终信息是否有价值的决定性因素。基于此,大数据分析方法理论有哪些呢?

大数据分析的五个基本方面

PredictiveAnalyticCapabilities (预测性分析能力)

数据挖掘可以让分析员更好的理解数据,而预测性分析可以让分析员根据可视化分析和数据挖掘的结果做出一些预测性的判断。

DataQualityandMasterDataManagement (数据质量和数据管理)

数据质量和数据管理是一些管理方面的最佳实践。通过标准化的流程和工具对数据进行处理可以保证一个预先定义好的高质量的分析结果。

AnalyticVisualizations ( 可视化 分析)

不管是对数据分析专家还是普通用户,数据可视化是数据分析工具最基本的要求。可视化可以直观的展示数据,让数据自己说话,让观众听到结果。

SemanticEngines (语义引擎)

我们知道由于非结构化数据的多样性带来了数据分析的新的挑战,我们需要一系列的工具去解析,提取,分析数据。语义引擎需要被设计成能够从 “ 文档 ” 中智能提取信息。

DataMiningAlgorithms (数据挖掘算法)

可视化是给人看的,数据挖掘就是给机器看的。集群、分割、孤立点分析还有其他的算法让我们深入数据内部,挖掘价值。这些算法不仅要处理大数据的量,也要处理大数据的速度。

假如大数据真的是下一个重要的技术革新的话,我们最好把精力关注在大数据能给我们带来的好处,而不仅仅是挑战。

大数据处理

大数据处理数据时代理念的三大转变:要全体不要抽样,要效率不要绝对精确,要相关不要因果。具体的大数据处理方法其实有很多,但是根据长时间的实践,笔者总结了一个基本的大数据处理流程,并且这个流程应该能够对大家理顺大数据的处理有所帮助。整个处理流程可以概括为四步,分别是采集、导入和预处理、统计和分析,以及挖掘。

采集

大数据的采集是指利用多个数据库来接收发自客户端的数据,并且用户可以通过这些数据库来进行简单的查询和处理工作。比如,电商会使用传统的关系型数据库MySQL 和 Oracle 等来存储每一笔事务数据,除此之外, Redis 和 MongoDB 这样的NoSQL 数据库也常用于数据的采集。

在大数据的采集过程中,其主要特点和挑战是并发数高,因为同时有可能会有成千上万的用户来进行访问和操作,比如火车票售票网站和淘宝,它们并发的访问量在峰值时达到上百万,所以需要在采集端部署大量数据库才能支撑。并且如何在这些数据库之间进行负载均衡和分片的确是需要深入的思考和设计。

统计 / 分析

统计与分析主要利用分布式数据库,或者分布式计算集群来对存储于其内的海量数据进行普通的分析和分类汇总等,以满足大多数常见的分析需求,在这方面,一些实时性需求会用到 EMC 的 GreenPlum 、 Oracle 的 Exadata ,以及基于 MySQL 的列式存储 Infobright 等,而一些批处理,或者基于半结构化数据的需求可以使用 Hadoop .统计与分析这部分的主要特点和挑战是分析涉及的数据量大,其对系统资源,特别是I/O 会有极大的占用。

导入 / 预处理

虽然采集端本身会有很多数据库,但是如果要对这些海量数据进行有效的分析,还是应该将这些来自前端的数据导入到一个集中的大型分布式数据库,或者分布式存储集群,并且可以在导入基础上做一些简单的清洗和预处理工作。也有一些用户会在导入时使用来自 Twitter 的 Storm 来对数据进行流式计算,来满足部分业务的实时计算需求。导入与预处理过程的特点和挑战主要是导入的数据量大,每秒钟的导入量经常会达到百兆,甚至千兆级别。

挖掘

与前面统计和分析过程不同的是,数据挖掘一般没有什么预先设定好的主题,主要是在现有数据上面进行基于各种算法的计算,从而起到预测的效果,从而实现一些高级别数据分析的需求。比较典型算法有用于聚类的 K-Means 、用于统计学习的 SVM和用于分类的 Naive Bayes ,主要使用的工具有 Hadoop 的 Mahout 等。该过程的特点和挑战主要是用于挖掘的算法很复杂,并且计算涉及的数据量和计算量都很大,还有,常用数据挖掘算法都以单线程为主。

原文发布于微信公众号 - 数据科学与人工智能(DS_AI_shujuren)

原文发表时间:2015-12-07

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏aCloudDeveloper

A Nice Paper About Mobile Data Offloading

关于Mobile Data Offloading这个研究领域的Paper基本上该有的都看过了,我想即使再有也无非是那些套路,新不到哪去。同样,这篇paper也是...

271100
来自专栏直播系统源码

短视频开发都需要什么技术?

今天我们来讲点干货,估计来看这篇帖子的人都知道短视频APP有多火,也都知道安卓系统在手机系统中占的市场份额有多大,那我就不多嘴巴拉巴拉一些行业背景了,以下我着重...

58400
来自专栏大数据文摘

人工智能和机器学习领域中10个开源项目

19360
来自专栏magicsoar

《驾驭大数据》读书笔记

花费一个礼拜的时间把驾驭大数据这本书看完了,书不是很厚,200多页。(写读书笔记又花费了我一个礼拜的时间……………) 就像前言里讲的那样,书里并没有涉及到太多余...

25050
来自专栏智能计算时代

[ 数据架构 ]MIKE2.0方法 : 一种信息开发的开源方法

以下显示的是信息成熟度(IM)QuickScan的示例输出。 IM QuickScan用作评估企业级组织中数据治理级别的第一步。

15210
来自专栏数据的力量

说说网站用户的生命周期价值

16840
来自专栏Hadoop数据仓库

DW、OLAP、DM、DSS 的关系

DW:    Data Warehouse                     数据仓库     OLAP:  On-Line Analytical Pro...

25380
来自专栏宏伦工作室

全栈 - 2 序言 数据工程和编程语言

19050
来自专栏机器人网

先进传感技术简化机器人设计制造过程

过去,机器人制造是一个非常困难、容易出错且耗时的过程,因为采用由分立元件构成的装置实现对环境的感应,而这些装置中很多部件都不能有效地协同工作,处理器缺乏足够的能...

37260
来自专栏互联网数据官iCDO

【精华知识】初学者的高级谷歌分析指南-Episode 4

主编前言: 这篇文章我们请朱玉雪帮我们翻译自Avinash Kaushik先生的文章。了解Avinash Kaushik先生的朋友不对他的行文风格不会陌生——内...

34860

扫码关注云+社区

领取腾讯云代金券