首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >问答首页 >如何在HDFS上使用SparkStreaming时获取文件名

如何在HDFS上使用SparkStreaming时获取文件名
EN

Stack Overflow用户
提问于 2016-09-09 16:48:46
回答 1查看 757关注 0票数 0

我想在HDFS上收听文件更新,我可以通过以下方式获取输入流

代码语言:javascript
运行
复制
JavaDStream<String> lines=jssc.textFileStream("hdfs://xxxxx")

我可以同时获得新文件的文件名字符串吗?

EN

回答 1

Stack Overflow用户

发布于 2016-09-09 18:30:44

尝试使用此代码。希望这能帮上忙。有一种方法可以从rdd中获取文件路径,其余逻辑将转到rdd

代码语言:javascript
运行
复制
public static String getFilePath(JavaRDD<String> rdd) {
    UnionPartition upp = (UnionPartition) rdd.partitions().iterator().next();
    NewHadoopPartition npp = (NewHadoopPartition) upp.parentPartition();
    String filePath = npp.serializableHadoopSplit().value().toString();
    return filePath;
}

JavaDStream<String> dstream = jssc.textFileStream("hdfs://xxxxx");
dstream.foreachRDD(new Function<JavaRDD<String>, Void>() {
    @Override
    public Void call(JavaRDD<String> rdd) throws Exception {
        String path = getFilePath(rdd);
        // Other logic with rdd
        return null;
    }
});
票数 0
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/39407487

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档