Spark1.0.0 学习路线指导

问题导读 1.什么是spark? 2.spark编程模型是什么? 3.spark运维需要具有什么知识? 4.spark如何监控? 5.如何搭建开发spark?

微信中带不上链接,导致每次发一些认为有价值的信息,总是那么的纠结,想了解更多的话,大家可以点击原文链接。

2014-05-30 Spark1.0.0 Relaease 经过11次RC后终于发布,虽然还有不少bug,还是很令人振奋。作为一个骨灰级的老IT,经过很成一段时间的消沉,再次被点燃激情,决定近几年内投入Spark的队伍,去见证Spark的不断强大。在最初的阶段,将作为Spark的布道者,宣传和介绍Spark,最终将选择某一个方向,深入研究和编写代码。

随着国家对软件安全的重视,

,看看这几天股市中软件股的表现,可以预见,在今后很长一段时间内,开源软件将越来越受到重视。作为大数据处理平台的开源软件Spark,由于其一体化的解决方案、高效的代码编写速度、高速的计算能力,将不断在大数据阵营中脱颖而出。 在本文中,所使用的软件有: Spark 1.0.0

  • 官方下载地址
    • 其中Spark1.0.0 for hadoop2的直接下载地址
    • 源代码的直接下载地址
  • 自编译的部署包:百度盘 (pan.baidu.com) /s/1dDmqK4h#dir/path=%2Fdeploy
    • spark-1.0.0-bin-2.2.0.tgz是基于hadoop2.2.0的安装部署包
    • spark-1.0.0-techyon-bin-2.2.0.tgz是基于hadoop2.2.0和techyon0.41的安装部署包
    • spark-assembly-1.0.0-hadoop2.2.0.jar是基于hadoop2.2.0的Spark1.0.0应用程序开发包

Hadoop 2.20 Java 7UP21 Maven 3.05 Scala 2.10.4 本线路分成6个部分Spark内存计算框架,逐步完善整体。文中涉及的实验和代码都是基于Spark1.0.0开发环境快速搭建一文中实验环境。 1:预览篇 为什么要学习Spark? Spark1.0.0 的新特性 Spark1.0.0 生态圈一览 2:原理篇 Spark1.0.0 运行架构基本概念

  • RDD 细解
    • Spark RDD
    • Spark Streaming RDD
    • Spark SQL RDD
    • MLLib RDD
    • GraphX RDD
  • DAG Scheduler 细解
  • Task Scheduler 细解
  • Spark1.0.0 Standalone 运行架构实例解析
  • Spark1.0.0 on YARN 运行架构实例解析
  • Spark1.0.0 on Mesos 运行原理解析

Spark1.0.0 编程模型

  • Spark1.0.0 编程模型解析

Spark Streaming运行架构基本概念 3:运维篇 部署篇

  • Spark1.0.0 源码编译和部署包生成
  • Spark1.0.0 on YARN 模式部署
  • Spark1.0.0 on Mesos 模式部署
  • Spark1.0.0 Standalone模式部署
  • Spark1.0.0 Standalone HA实现

配置篇

  • Spark1.0.0属性配置
  • Spark1.0.0环境变量配置
  • Spark1.0.0日志配置
  • Spark1.0.0 history server 配置
  • Spark1.0.0 job server配置

运行篇

  • Spark1.0.0应用提交工具spark-submit
  • Spark1.0.0交互工具spark-shell

监控篇

  • Spark1.0.0 UI监控解读
  • 用ganglia监控Spark1.0.0

优化篇

  • Spark1.0.0 的一些小经验
  • Spark1.0.0 性能调优

4:Spark生态环境

Spark1.0.0 生态环境

Spark SQL 简介

Spark MLlib 简介

Spark GraphX 简介

BlinkDB 简介

SparkR 简介

相关系统比较 Apache Hadoop MapReduce Apache Tez Storm 5:开发篇 Spark1.0.0 开发环境快速搭建 Spark1.0.0 多语言编程

Spark1.0.0 多语言编程之Scala实现

Spark1.0.0 多语言编程之Python实现

Spark1.0.0 应用

Spark1.0.0 和 Hbase

Spark1.0.0 和 RDBMS

SparkStreaming 和 flume

Spark SQL和hive

Spark1.0.0 案例 历史数据和实时数据分析

欺诈检测

推荐系统

6:源码篇 Spark1.0.0 源码研读环境搭建 Spark1.0.0内核解读

spark-submit 源码分析

RDD 解读

DAG Schedule 解读

Task Scheduler 解读

Spark AKKA 解读

Spark log4j 解读

原文发布于微信公众号 - about云(wwwaboutyuncom)

原文发表时间:2014-07-13

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏Spark学习技巧

Spark SQL的几个里程碑!

官方版本是spark 1.0.0引入的Spark SQL模块。当时这个模块的核心实际上就是一种新类型的RDD,叫做SchemaRDD。SchemaRDD就是类型...

10830
来自专栏Albert陈凯

Spark与Hadoop对比及优势

2.Spark之于Hadoop 更准确地说,Spark是一个计算框架,而Hadoop中包含计算框架MapReduce和分布式文件系统HDFS,Hadoop更广...

51950
来自专栏Albert陈凯

1.1.2 Spark生态

1.1.2 Spark生态 Spark大数据计算平台包含许多子模块,构成了整个Spark的生态系统,其中Spark为核心。 伯克利将整个Spark的生态系统称...

35650
来自专栏AI星球

想玩转工业界机器学习?先学Spark吧

作为一名学生,如何还没听说过Spark这套计算框架,那么我觉得还是留在学术界的机器学习混吧,工业界现在也许还不适合你。

13620
来自专栏Linux驱动

STM32-正弦波可调(50HZ~20KHZ可调、峰峰值0~3.3V可调)

1.原理: 通过定时器每隔一段时间触发一次DAC转换,然后通过DMA发送正玄波码表值给DAC. 当需要改变频率HZ时,只需要修改定时器频率即可(最高只能达到20...

91390
来自专栏人工智能LeadAI

想玩转工业界机器学习?先学Spark吧

为什么机器学习者需要学习spark? 关于大数据,有这样段话: “Big data is like teenage sex,everyone talks abo...

43990
来自专栏美图数据技术团队

Hello Spark! | Spark,从入门到精通

Spark 是 UC Berkeley AMP lab 所开源的类 Hadoop MapReduce 的通用并行框架,是专为大规模数据处理而设计的快速通用的大数...

15000
来自专栏Albert陈凯

Spark和MapReduce相比,都有哪些优势?

在实际应用中,由于MapReduce在大量数据处理时存在高延迟的问题,导致Hadoop无力处理很多对时间有要求的场景,越来越多的公司开始采用Spark作为与计算...

35450
来自专栏大数据

Hadoop和Spark的异同

解决问题的层面不一样 Hadoop实质上是解决大数据大到无法在一台计算机上进行存储、无法在要求的时间内进行处理的问题,是一个分布式数据基础设施。 HDFS,它将...

24080
来自专栏Albert陈凯

Spark生态系统BDAS介绍

1.2 Spark生态系统BDAS 目前,Spark已经发展成为包含众多子项目的大数据计算平台。伯克利将Spark的整个生态系统称为伯克利数据分析栈(BDAS...

44750

扫码关注云+社区

领取腾讯云代金券