SparkConf conf = new SparkConf().setMaster("local").setAppName("My App Test");
JavaRDD pairRDD = scContext.parallelize(Arrays.asList("a","b","c"));
pairRDD.foreach(result -> System.out.println(result.toString()));
RDD的操作流程。一般如下。
RDD特性
一般我们在操作中,map,filter,union 等操作属于窄依赖,而groupByKey,sortByKey等属于宽依赖,但是对于左外链接,又外链接,join链接等操作就需要分两种情况了。
3. 阶段进行划分