问题导读 1.什么是spark? 2.spark编程模型是什么? 3.spark运维需要具有什么知识? 4.spark如何监控? 5.如何搭建开发spark?
微信中带不上链接,导致每次发一些认为有价值的信息,总是那么的纠结,想了解更多的话,大家可以点击原文链接。
2014-05-30 Spark1.0.0 Relaease 经过11次RC后终于发布,虽然还有不少bug,还是很令人振奋。作为一个骨灰级的老IT,经过很成一段时间的消沉,再次被点燃激情,决定近几年内投入Spark的队伍,去见证Spark的不断强大。在最初的阶段,将作为Spark的布道者,宣传和介绍Spark,最终将选择某一个方向,深入研究和编写代码。
随着国家对软件安全的重视,
,看看这几天股市中软件股的表现,可以预见,在今后很长一段时间内,开源软件将越来越受到重视。作为大数据处理平台的开源软件Spark,由于其一体化的解决方案、高效的代码编写速度、高速的计算能力,将不断在大数据阵营中脱颖而出。 在本文中,所使用的软件有: Spark 1.0.0
Hadoop 2.20 Java 7UP21 Maven 3.05 Scala 2.10.4 本线路分成6个部分Spark内存计算框架,逐步完善整体。文中涉及的实验和代码都是基于Spark1.0.0开发环境快速搭建一文中实验环境。 1:预览篇 为什么要学习Spark? Spark1.0.0 的新特性 Spark1.0.0 生态圈一览 2:原理篇 Spark1.0.0 运行架构基本概念
Spark1.0.0 编程模型
Spark Streaming运行架构基本概念 3:运维篇 部署篇
配置篇
运行篇
监控篇
优化篇
4:Spark生态环境
Spark1.0.0 生态环境
Spark SQL 简介
Spark MLlib 简介
Spark GraphX 简介
BlinkDB 简介
SparkR 简介
相关系统比较 Apache Hadoop MapReduce Apache Tez Storm 5:开发篇 Spark1.0.0 开发环境快速搭建 Spark1.0.0 多语言编程
Spark1.0.0 多语言编程之Scala实现
Spark1.0.0 多语言编程之Python实现
Spark1.0.0 应用
Spark1.0.0 和 Hbase
Spark1.0.0 和 RDBMS
SparkStreaming 和 flume
Spark SQL和hive
Spark1.0.0 案例 历史数据和实时数据分析
欺诈检测
推荐系统
6:源码篇 Spark1.0.0 源码研读环境搭建 Spark1.0.0内核解读
spark-submit 源码分析
RDD 解读
DAG Schedule 解读
Task Scheduler 解读
Spark AKKA 解读
Spark log4j 解读