扩展RDD API三部曲第一部回顾基础
扩展RDD API三部曲第一部回顾基础
扩展RDD API三部曲，主要是帮助大家掌握如下三个内容：
1). 回顾一下RDD的基础
2). 扩展Action
3). 扩展 transform及自定义RDD
1. RDD的五大特性
1 - A list of partitions 2 - A function for computing each split 3 - A list of dependencies on other RDDs 4 - Optionally, a Partitioner for key-value RDDs (e.g. to say that the RDD is hash-partitioned) 5 - Optionally, a list of preferred locations to compute each split on (e.g. block locations for an HDFS file)
翻译成中文:
1,一个分片列表。也即RDD可以进行分片。
2,每个分片都有计算函数。分片是计算的最小单位
3,一个RDD会依赖于一系列的RDD。并不是所有的RDD都是有依赖。
所有的转换操作都会生成新的RDD，所以就形成了RDD的血缘关系，一个RDD计算失败可以利用其血缘关系进行恢复。
4,可选项。针对 key-values类型的RDD才有的分区器。
5,最佳运行位置 或者 叫偏向运行位置 或者 叫数据的本地性。
自定义RDD的话，必须是要实现三种必须的特性。
2. RDD算子
1).Transformation(变换)
Transformation操作会由一个RDD生成一个新的 RDD。Transformation操作是延迟计算的，也就是说从一个RDD转换生成另一个RDD的转换操作不是马上执行，需要等到Actions操作时，才真正开始运算。
例如，根据谓词匹配情况筛选数据就是一个常见的转化操作。
testlines = lines.filter(line=>line.contains("spark"))在transformations算子中再将数据类型细分为value数据类型和key-value对数据类型的transformations算子。
1）Value型数据的算子封装在RDD类中可以直接使用。
2）Key-value对数据类型的算子封装于PairRDDFunctions类中，用户需要引入import org.apache.spark.SparkContext._才能够使用。
2).Action(行动)
Action操作会对 RDD 计算出一个结果，并把结果返回到驱动器程序中，或把结果存储到外部存储系统（如 HDFS）中。
例如，first() 就是我们之前调用的一个行动操作，它会返回 RDD 的第一个元素。
result = testlines.first()transformations操作和Action操作的区别在于Spark计算RDD 的方式不同。对于在任何时候得到的新的RDD，Spark只会惰性计算。只有在一个行动操作中用到时，才会真正计算。这种策略也是spark性能高的部分原因。
比如，我们读取一个文本文件创建一个RDD，然后把其中包含spark的行筛选出来。如果Spark在我们运行lines = sc.textFile(test.txt) 时就把文件中所有的行都读取到内存中并存储起来，内存开销会很大，而我们接下来的操作会筛选掉其中的很多数据。相反， 如果Spark 在知道了完整的转化操作链之后，它就可以只计算求结果时真正需要的数据。
事实上，在执行行动操作 first()时，Spark也只是扫描文件直到找到第一个匹配的行为止，而不是读取整个文件。