【学习】大数据技术学习路线指南：[1]大数据是什么

大数据是什么？

首先，大数据技术是什么？ 简而言之，从大数据中提取大价值的挖掘技术。专业的说，就是根据特定目标，从数据收集与存储，数据筛选，算法分析与预测，数据分析结果展示，以辅助作出最正确的抉择，其数据级别通常在PB以上，复杂程度前所未有。

关键作用是什么？ 挖掘出各个行业的关键路径，帮助决策，提升社会（或企业）运作效率。

最初是在怎样的场景下提出？ 在基础学科经历信息快速发展之后，就诞生了“大数据”的说法。但其实是随着数据指数级的增长，尤其是互联网商业化和传感器移动化之后，从大数据中挖掘出某个事件现在和未来的趋势才真正意义上被大众所接触。

大数据技术包含的内容概述？ 非结构化数据收集架构，数据分布式存储集群，数据清洗筛选架构，数据并行分析模拟架构，高级统计预测算法，数据可视化工具。 大数据技术的具体内容？ 分布式存储计算架构（强烈推荐：Hadoop） 分布式程序设计（包含：Apache Pig或者Hive） 分布式文件系统（比如：Google GFS） 多种存储模型，主要包含文档，图，键值，时间序列这几种存储模型（比如：BigTable，Apollo， DynamoDB等） 数据收集架构（比如：Kinesis，Kafla） 集成开发环境（比如：R-Studio） 程序开发辅助工具（比如：大量的第三方开发辅助工具） 调度协调架构工具（比如：Apache Aurora） 机器学习（常用的有Apache Mahout 或 H2O） 托管管理（比如：Apache Hadoop Benchmarking） 安全管理（常用的有Gateway） 大数据系统部署（可以看下Apache Ambari） 搜索引擎架构（ 学习或者企业都建议使用Lucene搜索引擎） 多种数据库的演变（MySQL/Memcached） 商业智能（大力推荐：Jaspersoft ） 数据可视化（这个工具就很多了，可以根据实际需要来选择） 大数据处理算法（10大经典算法） 大数据中常用的分析技术？ A/B测试、关联规则挖掘、数据聚类、 数据融合和集成、遗传算法、自然语言处理、 神经网络、神经分析、优化、模式识别、 预测模型、回归、情绪分析、信号处理、 空间分析、统计、模拟、时间序列分析 大数据未来的应用趋势预测？ 每个人健康和生活都需要的个性化建议； 企业管理中的选择和开拓新市场的可靠信息来源； 社会治理中大众利益的发现与政策满足。