问多个google-数据流和dataproc作业

EN

我目前还不知道GCP有什么很好的答案，但是有几个选择：

• 使用任务队列
• 使用以下模式在数据流作业完成后触发DataProc作业:使用Create创建一个具有单个元素的虚拟PCollection。在这个集合上编写一个ParDo，其中DoFn的主体包含调用DataProc作业的java代码。因为它正在处理包含一个元素的集合，所以它将执行一次(模重试)。以数据流作业的最终输出为例，使用ParDo处理它，该PCollection不输出任何内容，并为您提供一个空的PCollection。将该PCollection作为侧输入传递到调用DataProc的ParDo中。换句话说，使用假数据依赖来强制在数据流作业的主体和创建DataProc作业的最后一步之间进行排序。

我们实施了两种方法.

1. 调用dataproc作业的自定义解决方案。这包括使用google调用Dataproc &数据流的Spring调度程序
2. 一个以流模式运行的dataproc作业和这个流模式dataproc作业管理其他的dataproc和数据流作业。我们将消息发送到发布子模式和流模式，接收消息，然后调用进一步的链。

我更喜欢第二种解决方案，而不是第一种，因为我们使用云格式来管理Spring应用程序

第二种解决方案带来了运行24*7的dataproc作业的额外成本。