首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >问答首页 >Google平台:在没有数据流的情况下将数据从Pub/Sub积累到云存储中的文件

Google平台:在没有数据流的情况下将数据从Pub/Sub积累到云存储中的文件
EN

Stack Overflow用户
提问于 2018-10-19 20:36:46
回答 1查看 770关注 0票数 5

我正在试图找出GCP上是否有一项服务,它允许使用来自Pub/Sub的流,并将累积的数据转储/批处理到云存储中的文件(例如,每X分钟一次)。我知道这可以用Dataflow来实现,但如果存在任何“开箱即用”的解决方案,则需要更多的解决方案。

举个例子,这是我们可以使用AWSKinsisFirehos-完全在配置级别上做的事情,您可以告诉AWS将流中积累的任何内容转储到S3上的文件中,定期地,或者当累积的数据达到一定大小时。

这样做的原因是--如果不需要进行流处理,但只需要积累数据--我想尽量减少以下方面的额外费用:

  • 构建一个定制的软件,即使是一个简单的软件,如果可以完全避免的话
  • 使用额外的计算资源来执行它

为了避免混乱,我不是在寻找免费的解决方案,而是寻找最佳的解决方案。

EN

Stack Overflow用户

回答已采纳

发布于 2018-10-22 18:14:17

Google为Dataflow维护了一组模板,用于在它们的服务之间执行共同的任务。

您可以使用"Pubsub“模板,只需插入几个配置值- https://cloud.google.com/dataflow/docs/templates/provided-templates#cloudpubsubtogcstext

票数 3
EN
查看全部 1 条回答
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/52899592

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档