----
RDD算子练习
RDD中的函数有很多,不同业务需求使用不同函数进行数据处理分析,下面仅仅展示出比较常用的函数使用,更多函数在实际中使用体会,多加练习理解。...val rdd2 = rdd1.flatMap(_.split(' '))//_是每一个元素,如其中一个:"a b c"
rdd2.collect
//Array[String] = Array...//Array[Int] = Array(5, 6, 4, 3, 1, 2, 3, 4)
//去重
rdd3.distinct.collect
//求交集
val rdd4 = rdd1.intersection...算子
对RDD中元素进行去重,与Scala集合中distinct类似。...val rdd = sc.parallelize(Array(1,2,3,4,5,5,6,7,8,1,2,3,4), 3)
rdd.distinct.collect
first