,flatMap扁平化算子,map转换算子
Transformation算子
Action算子
步骤:
1-首先创建SparkContext上下文环境
2-从外部文件数据源读取数据...3-执行flatmap执行扁平化操作
4-执行map转化操作,得到(word,1)
5-reduceByKey将相同Key的Value数据累加操作
6-将结果输出到文件系统或打印
代码:...resultRDD.collect())
# [('Spark', 2), ('Flink', 1), ('hello', 3), ('you', 1), ('me', 1), ('she', 1)]
# 6 - 将结果输出到文件系统或打印...resultRDD.collect())
# [('Spark', 2), ('Flink', 1), ('hello', 3), ('you', 1), ('me', 1), ('she', 1)]
# 6 - 将结果输出到文件系统或打印...resultRDD.collect())
>
># [('Spark', 2), ('Flink', 1), ('hello', 3), ('you', 1), ('me', 1), ('she', 1)]
>
># 6 - 将结果输出到文件系统或打印