我试图从一个DataFlow作业运行两个分离的管道,类似于下面的问题:
如果使用单个DataFlow作业运行两个分离的管道,则使用单个p.run(),如下所示:
(
p | 'Do one thing' >> beam.Create(List1)
)
(
p | 'Do second thing' >> beam.Create(List2)
)
result = p.run()
result.wait_until_finish()
我认为它
我正在尝试使用谷歌提供的模板PubSub to BigQuery设置一个数据流作业。然而,我在启动时得到了这个错误:
Message: The resource 'projects/my-project/global/networks/default' was not found
我认为谷歌提供的模板是硬编码的,可以使用default网络。如果我在自动模式下创建default网络,该错误就会消失。但我们不能在生产中使用default网络。
文档提到了一个network参数。我尝试从GCP console UI添加一个名为network的附加参数,传入我们的自定义网络名称。但是我