问如何在apache spark (scala)中迭代RDD
EN

Stack Overflow用户

提问于 2014-09-18 22:00:15

回答 2查看 85.4K关注 0票数 22

我使用以下命令用一堆包含2个字符串"filename“、"content”的数组填充RDD。

现在，我想遍历所有这些事件，对每个文件名和内容做一些处理。

val someRDD = sc.wholeTextFiles("hdfs://localhost:8020/user/cloudera/*")

然而，我似乎找不到任何关于如何做到这一点的文档。

所以我想要的是：

foreach occurrence-in-the-rdd{
   //do stuff with the array found on loccation n of the RDD
}

页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://stackoverflow.com/questions/25914789

复制

相似问题

问如何在apache spark (scala)中迭代RDDEN