【学习】大数据技术学习路线指南:[1]大数据是什么

大数据技术作为决策神器,日益在社会治理和企业管理中起到不容忽视的作用,美国,欧盟都已经将大数据研究和使用列入国家发展的战略,类似谷歌,微软,百度,亚马逊等巨型企业也同样把大数据技术视为生命线以及未来发展的关键筹码。这个系列的教程将从技术和应用的角度解读大数据与云计算里的具体内容,和你一起拔高人生的视野。

大数据是什么?


首先,大数据技术是什么? 简而言之,从大数据中提取大价值的挖掘技术。专业的说,就是根据特定目标,从数据收集与存储,数据筛选,算法分析与预测,数据分析结果展示,以辅助作出最正确的抉择,其数据级别通常在PB以上,复杂程度前所未有。

关键作用是什么? 挖掘出各个行业的关键路径,帮助决策,提升社会(或企业)运作效率。

最初是在怎样的场景下提出? 在基础学科经历信息快速发展之后,就诞生了“大数据”的说法。但其实是随着数据指数级的增长,尤其是互联网商业化和传感器移动化之后,从大数据中挖掘出某个事件现在和未来的趋势才真正意义上被大众所接触。

大数据技术包含的内容概述? 非结构化数据收集架构,数据分布式存储集群,数据清洗筛选架构,数据并行分析模拟架构,高级统计预测算法,数据可视化工具。 大数据技术的具体内容? 分布式存储计算架构(强烈推荐:Hadoop) 分布式程序设计(包含:Apache Pig或者Hive) 分布式文件系统(比如:Google GFS) 多种存储模型,主要包含文档,图,键值,时间序列这几种存储模型(比如:BigTable,Apollo, DynamoDB等) 数据收集架构(比如:Kinesis,Kafla) 集成开发环境(比如:R-Studio) 程序开发辅助工具(比如:大量的第三方开发辅助工具) 调度协调架构工具(比如:Apache Aurora) 机器学习(常用的有Apache Mahout 或 H2O) 托管管理(比如:Apache Hadoop Benchmarking) 安全管理(常用的有Gateway) 大数据系统部署(可以看下Apache Ambari) 搜索引擎架构( 学习或者企业都建议使用Lucene搜索引擎) 多种数据库的演变(MySQL/Memcached) 商业智能(大力推荐:Jaspersoft ) 数据可视化(这个工具就很多了,可以根据实际需要来选择) 大数据处理算法(10大经典算法) 大数据中常用的分析技术? A/B测试、关联规则挖掘、数据聚类、 数据融合和集成、遗传算法、自然语言处理、 神经网络、神经分析、优化、模式识别、 预测模型、回归、情绪分析、信号处理、 空间分析、统计、模拟、时间序列分析 大数据未来的应用趋势预测? 每个人健康和生活都需要的个性化建议; 企业管理中的选择和开拓新市场的可靠信息来源; 社会治理中大众利益的发现与政策满足。

原文发布于微信公众号 - PPV课数据科学社区(ppvke123)

原文发表时间:2015-03-12

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏云时之间

请不要把数据分析和机器学习混为一谈

经常看到有很多人把机器学习和数据分析混为一谈,因此我想分析一下机器学习和数据分析这两个职位之间有什么不同,他们干的事情有什么不同,并且借此来分析下两者的技术背景...

36390
来自专栏美团技术团队

【技术博客】数据驱动精准化营销在大众点评的实践

精准化营销一直以来都是互联网营销业务在细分市场下快速获取用户和提高转化的利器。在移动互联网爆发的今天,数据量呈指数增长,如何在移动和大数据场景下用数据驱动进行精...

41490
来自专栏JadePeng的技术博客

高效沟通技巧

高效沟通是工作中的必备技巧,本文为学习总结。 什么是沟通? 沟通是达成共识,理解一致 沟通 VS. 表达 : 沟通是双向交流,而表达是单向 沟通关键在于通,需要...

31060
来自专栏CDA数据分析师

高效能数据分析的七个习惯

高效的数据分析不是马上就能学会的,但是可以通过快速学习掌握。这里有7个数据分析的习惯,我希望有人可以针对一个工程团队,告诉我关于数据分析的高效合作,沟通以及投资...

22390
来自专栏腾讯大讲堂的专栏

产品工作思路和方法:策略篇

首先,什么是策略产品。举几个策略产品例子:搜索、推荐、反作弊、广告。策略产品专注于“策略”,将已有的数据/资源,通过具体策略转换成服务提供给用户使用。由于笔者经...

48250
来自专栏大数据文摘

快讯 | Facebook将推出PyTorch 1.0,整合Caffe2 + PyTorch

14330
来自专栏软件成本造价评估

浅析软件项目工作量估算前的项目风险分析

  软件项目风险分析是项目管理中的重要活动,其目的在于协助项目开发组织识别项目运行过程中的潜在问题,并提前采取措施。项目的风险可能来自许多方面,一般而言建议从...

13250
来自专栏BestSDK

英伟达发布 VRWorks SDK ,可提供“具有准确物理特性的音频”

英伟达在加利福尼亚州GPU会议上宣布,他们正在为VRWorks发布两款新的软件开发套件(SDK),这将有助于增强基于英伟达硬件的VR体验。 ? 其中一款是VRW...

28650
来自专栏软件成本造价评估

浅析软件项目工作量估算前的项目风险分析

  软件项目风险分析是项目管理中的重要活动,其目的在于协助项目开发组织识别项目运行过程中的潜在问题,并提前采取措施。项目的风险可能来自许多方面,一般而言建议从...

11920
来自专栏CDA数据分析师

国外公司是如何挖掘社交媒体数据的?

原作者 Alex York 编译 CDA 编译团队 本文为 CDA 数据分析师原创作品,转载需授权 前言 在大数据时代,很多公司开始利用数据、分析数据,以协助自...

79090

扫码关注云+社区

领取腾讯云代金券