我想在HDFS上收听文件更新,我可以通过以下方式获取输入流
JavaDStream<String> lines=jssc.textFileStream("hdfs://xxxxx")
我可以同时获得新文件的文件名字符串吗?
发布于 2016-09-09 10:30:44
尝试使用此代码。希望这能帮上忙。有一种方法可以从rdd中获取文件路径,其余逻辑将转到rdd
public static String getFilePath(JavaRDD<String> rdd) {
UnionPartition upp = (UnionPartition) rdd.partitions().iterator().next();
NewHadoopPartition npp = (NewHadoopPartition) upp.parentPartition();
String filePath = npp.serializableHadoopSplit().value().toString();
return filePath;
}
JavaDStream<String> dstream = jssc.textFileStream("hdfs://xxxxx");
dstream.foreachRDD(new Function<JavaRDD<String>, Void>() {
@Override
public Void call(JavaRDD<String> rdd) throws Exception {
String path = getFilePath(rdd);
// Other logic with rdd
return null;
}
});
https://stackoverflow.com/questions/39407487
复制