我想从hdfs位置读取一堆文本文件,并使用spark在迭代中对其执行映射。
JavaRDD<String> records = ctx.textFile(args[1], 1);一次只能读取一个文件。
JavaRDD<String> records = ctx.textFile(args[1], 1);
我希望读取多个文件,并将它们作为单个RDD进行处理。多么?
https://stackoverflow.com/questions/24029873
相似问题