我正在试图找出GCP上是否有一项服务,它允许使用来自Pub/Sub的流,并将累积的数据转储/批处理到云存储中的文件(例如,每X分钟一次)。我知道这可以用Dataflow来实现,但如果存在任何“开箱即用”的解决方案,则需要更多的解决方案。
举个例子,这是我们可以使用AWSKinsisFirehos-完全在配置级别上做的事情,您可以告诉AWS将流中积累的任何内容转储到S3上的文件中,定期地,或者当累积的数据达到一定大小时。
这样做的原因是--如果不需要进行流处理,但只需要积累数据--我想尽量减少以下方面的额外费用:
为了避免混乱,我不是在寻找免费的解决方案,而是寻找最佳的解决方案。
发布于 2018-10-22 18:14:17
Google为Dataflow维护了一组模板,用于在它们的服务之间执行共同的任务。
您可以使用"Pubsub“模板,只需插入几个配置值- https://cloud.google.com/dataflow/docs/templates/provided-templates#cloudpubsubtogcstext
https://stackoverflow.com/questions/52899592
复制相似问题