循序渐进学Saprk
与Hadoop相比,Spark最初为提升性能而诞生。Spark是Hadoop MapReduce的演化和改进,并兼容了一些数据库的基本思想,可以说,Spark一开始就站在Hadoop与数据库这两个巨人的肩膀上。同时,Spark依靠Scala强大的函数式编程Actor通信模式、闭包、容器、泛型,并借助统一资源调度框架,成为一个简洁、高效、强大的分布式大数据处理框架。 Spark在运算期间,将输入数据与中间计算结果保存在内存中,直接在内存中计算。另外,用户也可以将重复利用的数据缓存在内存中,缩短数据读写时间,以提高下次计算的效率。显而易见,Spark基于内存计算的特性使其擅长于迭代式与交互式任务,但也不难发现,Spark需要大量内存来完成计算任务。集群规模与Spark性能之间呈正比关系,随着集群中机器数量的增长,Spark的性能也呈线性增长。接下来介绍Spark编程模型。 2.1 RDD弹性分布式数据集 通常来讲,数据处理有几种常见模型:Iterative Algorithms、Relational Queries、Map-Reduce、Stream Processing。例如,Hadoop MapReduce采用了MapReduce模型,Storm则采用了Stream Processing模型。 与许多其他大数据处理平台不同,Spark建立在统一抽象的RDD之上,而RDD混合了上述这4种模型,使得Spark能以基本一致的方式应对不同的大数据处理场景,包括MapReduce、Streaming、SQL、Machine Learning以及Graph等。这 契 合 了Matei Zaharia提出的原则:“设计一个通用的编程抽象(Unified Programming Abstraction)”,这也正是Spark的魅力所在,因此要理解Spark,先要理解RDD的概念。 2.1.1 RDD简介 RDD(Resilient Distributed Datasets,弹性分布式数据集)是一个容错的、并行的数据结构,可以让用户显式地将数据存储到磁盘或内存中,并控制数据的分区。RDD还提供了一组丰富的操作来操作这些数据,诸如map、flatMap、filter等转换操作实现了monad模式,很好地契合了Scala的集合操作。除此之外,RDD还提供诸如join、groupBy、reduceByKey等更为方便的操作,以支持常见的数据运算。 RDD是Spark的核心数据结构,通过RDD的依赖关系形成Spark的调度顺序。所谓Spark应用程序,本质是一组对RDD的操作。 下面介绍RDD的创建方式及操作算子类型。
❑ RDD的两种创建方式 ■ 从文件系统输入(如HDFS)创建 ■ 从已存在的RDD转换得到新的RDD ❑ RDD的两种操作算子 ■ Transformation(变换) Transformation类型的算子不是立刻执行,而是延迟执行。也就是说从一个RDD变换为另一个RDD的操作需要等到Action操作触发时,才会真正执行。 ■ Action(行动) Action类型的算子会触发Spark提交作业,并将数据输出到Spark系统。 2.1.2 深入理解RDD RDD从直观上可以看作一个数组,本质上是逻辑分区记录的集合。在集群中,一个RDD可以包含多个分布在不同节点上的分区,每个分区是一个dataset片段,如图2-1所示。 [插图] 图2-1 RDD分区 在图2-1中,RDD-1含有三个分区(p1、p2和p3),分布存储在两个节点上:node1与node2。RDD-2只有一个分区P4,存储在node3节点上。RDD-3含有两个分区P5和P6,存储在node4节点上。
在实现时,RDD针对Transformation操作,提供了对应的继承自RDD的类型,例如,map操作会返回MappedRDD, flatMap则返回FlatMappedRDD。执行map或flatMap操作时,不过是将当前RDD对象传递给对应的RDD对象而已。 2.1.3 RDD特性总结 RDD是Spark的核心,也是整个Spark的架构基础。它的特性可以总结如下: 1)RDD是不变的(immutable)数据结构存储。 2)RDD将数据存储在内存中,从而提供了低延迟性。 3)RDD是支持跨集群的分布式数据结构。 4)RDD可以根据记录的Key对结构分区。 5)RDD提供了粗粒度的操作,并且都支持分区。
2.2 Spark程序模型 下面给出一个经典的统计日志中ERROR的例子,以便读者直观理解Spark程序模型。 1)SparkContext中的textFile函数从存储系统(如HDFS)中读取日志文件,生成file变量。 scala> var file = sc.textFile("hdfs://...") 2)统计日志文件中,所有含ERROR的行。 scala> var errors = file.filer(line=>line.contains("ERROR")) 3)返回包含ERROR的行数。 errors.count() RDD的操作与Scala集合非常类似,这是Spark努力追求的目标:像编写单机程序一样编写分布式应用。但二者的数据和运行模型却有很大不同,如图2-3所示。 [插图] 图2-3 Spark程序模型 在图2-3中,每一次对RDD的操作都造成了RDD的变换。其中RDD的每个逻辑分区Partition都对应Block Manager(物理存储管理器)中的物理数据块Block(保存在内存或硬盘上)。前文已强调,RDD是应用程序中核心的元数据结构,其中保存了逻辑分区与物理数据块之间的映射关系,以及父辈RDD的依赖转换关系。
2.3 Spark算子 本节介绍Spark算子的分类及其功能。