前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >【学习】大数据技术学习路线指南:[1]大数据是什么

【学习】大数据技术学习路线指南:[1]大数据是什么

作者头像
小莹莹
发布2018-04-23 15:20:36
5870
发布2018-04-23 15:20:36
举报
文章被收录于专栏:PPV课数据科学社区
大数据技术作为决策神器,日益在社会治理和企业管理中起到不容忽视的作用,美国,欧盟都已经将大数据研究和使用列入国家发展的战略,类似谷歌,微软,百度,亚马逊等巨型企业也同样把大数据技术视为生命线以及未来发展的关键筹码。这个系列的教程将从技术和应用的角度解读大数据与云计算里的具体内容,和你一起拔高人生的视野。

大数据是什么?


首先,大数据技术是什么? 简而言之,从大数据中提取大价值的挖掘技术。专业的说,就是根据特定目标,从数据收集与存储,数据筛选,算法分析与预测,数据分析结果展示,以辅助作出最正确的抉择,其数据级别通常在PB以上,复杂程度前所未有。

关键作用是什么? 挖掘出各个行业的关键路径,帮助决策,提升社会(或企业)运作效率。

最初是在怎样的场景下提出? 在基础学科经历信息快速发展之后,就诞生了“大数据”的说法。但其实是随着数据指数级的增长,尤其是互联网商业化和传感器移动化之后,从大数据中挖掘出某个事件现在和未来的趋势才真正意义上被大众所接触。

大数据技术包含的内容概述? 非结构化数据收集架构,数据分布式存储集群,数据清洗筛选架构,数据并行分析模拟架构,高级统计预测算法,数据可视化工具。 大数据技术的具体内容? 分布式存储计算架构(强烈推荐:Hadoop) 分布式程序设计(包含:Apache Pig或者Hive) 分布式文件系统(比如:Google GFS) 多种存储模型,主要包含文档,图,键值,时间序列这几种存储模型(比如:BigTable,Apollo, DynamoDB等) 数据收集架构(比如:Kinesis,Kafla) 集成开发环境(比如:R-Studio) 程序开发辅助工具(比如:大量的第三方开发辅助工具) 调度协调架构工具(比如:Apache Aurora) 机器学习(常用的有Apache Mahout 或 H2O) 托管管理(比如:Apache Hadoop Benchmarking) 安全管理(常用的有Gateway) 大数据系统部署(可以看下Apache Ambari) 搜索引擎架构( 学习或者企业都建议使用Lucene搜索引擎) 多种数据库的演变(MySQL/Memcached) 商业智能(大力推荐:Jaspersoft ) 数据可视化(这个工具就很多了,可以根据实际需要来选择) 大数据处理算法(10大经典算法) 大数据中常用的分析技术? A/B测试、关联规则挖掘、数据聚类、 数据融合和集成、遗传算法、自然语言处理、 神经网络、神经分析、优化、模式识别、 预测模型、回归、情绪分析、信号处理、 空间分析、统计、模拟、时间序列分析 大数据未来的应用趋势预测? 每个人健康和生活都需要的个性化建议; 企业管理中的选择和开拓新市场的可靠信息来源; 社会治理中大众利益的发现与政策满足。

本文参与 腾讯云自媒体同步曝光计划,分享自微信公众号。
原始发表:2015-03-12,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 PPV课数据科学社区 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
相关产品与服务
大数据
全栈大数据产品,面向海量数据场景,帮助您 “智理无数,心中有数”!
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档