Transformation
基本 RDD 的 transformation
假设有一个 RDD ,其中的元素有 {1, 2, 3, 3}:
函数 目的 示例 结果
map() 将函数应用到 RDD 中的每一个元素并以...去除重复项 rdd.distinct() {1, 2, 3}
两个 RDD 的 transformation
假设有两个 RDD, 分别包含了 {1, 2, 3} 和 {3, 4, 5}:
函数 目的 示例...{(1, 3), (1, 4), (1, 5), (2, 3), (2, 4)}, ..., (3, 5)
Action
假设有一个 RDD ,其中的元素有 {1, 2, 3, 3}:
函数 目的 示例...1, x._2 + y._2)) (9, 4)
foreach(func) 将 func 应用到 RDD 中的每一个元素 rdd.foreach(func) 无
以上内容参见 Spark...>>, 其代码示例可在 GitHub 上找到 learning-spark.