我有一个包含以下数据的RDD[String]:('Night of the Demons (2009) (uncredited)[String,String],比如' '中的第一个元素将是我在RDD中的第一个字符串,' '中的第二个元素将是我在RDD中的第二个字符串。我试过这个:
val rdd1 = sc.
我有一个RDD结构我想创建2个列表(rdd的每个维度一个)。我尝试使用rdd.foreach()并填充两个ListBuffers,然后将它们转换为列表,但我猜每个节点都会创建自己的ListBuffer,因为在迭代之后,BufferLists是空的。{ line => (parts(5), parts(7))
var testList
[String] = MapPartitionsRDD[72] at textFile at <console>:27 res47: Int[String] = MapPartitionsRDD[50] at textFile at <console>:27 res36: Int[String] = MapPartitionsRDD[52]