问如何将Apache Crunch的输出写入亚马逊S3存储桶
EN

Stack Overflow用户

提问于 2021-01-27 20:22:54

回答 1查看 28关注 0票数 0

有没有一种方法可以让我们把Apache Crunch输出写到S3存储桶中。在crunch流水线写入中有一种以Target为参数的方法。有没有办法将S3作为目标添加到crunch的编写方法中。

回答已采纳

发布于 2021-03-12 23:40:52

难道不能只在PCollection上使用write方法并将其提供给您的S3位置吗？

PCollection<String> items = ...;
items.write(To.avroFile("s3://bucket/prefix");
pipeline.done();

这基本上就是我们如何做的，但是我们在EMR中运行。为了从我们的本地集群迁移数据，我们使用Hadoop dist-cp命令。

票数 1

页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://stackoverflow.com/questions/65919089

复制

相似问题

问如何将Apache Crunch的输出写入亚马逊S3存储桶EN