使用Kafka将数据从Kafka迁移到HDFS3的开源解决方案是什么？
使用Kafka将数据从Kafka迁移到HDFS3的开源解决方案是什么？
提问于 2021-05-05 09:57:02
除了汇合的HDFS库(非开源)之外，是否有任何完全开放的源代码库可以将消息从Kafka (使用Kafka Connect)转移到HDFS 3？
- Kafka连接HDFS 2水槽-合流社区牌照
- Kafka Connect HDFS 3 Sink -合流企业许可证
回答 2
Stack Overflow用户
回答已采纳
发布于 2022-10-13 13:53:03
解决方案是用Python或您想使用的任何语言创建Kafka使用者，然后这个使用者使用Kafka主题的读取数据作为消息，它将使用Linux命令为每条消息创建一个文件(可以使用Python Hadoop包完成)，然后将数据写入HDFS文件中。
Stack Overflow用户
发布于 2021-05-05 14:01:19
HDFS2连接器是开源的，如果您不使用它作为托管服务提供，则可以与社区许可证一起免费使用，或者正如我前面所说的，Apache是一个更丰富的工作流产品，与Kafka一起在Hadoop生态系统中运行良好。火花或Flink也常用于此。
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/67399046
复制相关文章
相似问题
腾讯云开发者
