RDD设计背景
5. RDD在操作中是属于惰性调用,只有到达‘’行动‘’这个操作之后,才会开始进行真正的计算。
```
SparkConf conf = new SparkConf().setMaster("local").setAppName("My App Test");
JavaRDD<String> pairRDD = scContext.parallelize(Arrays.asList("a","b","c"));
pairRDD.foreach(result -> System.out.println(result.toString()));
```
RDD特性
一般我们在操作中,map,filter,union 等操作属于窄依赖,而groupByKey,sortByKey等属于宽依赖,但是对于左外链接,又外链接,join链接等操作就需要分两种情况了。
阶段进行划分