我试图更新数据流上正在运行的作业。我使用使用pipeline.run()从pom文件创建的选项执行了一个管道:
并能够在我的自定义模板的数据流上运行一个新作业。gcloud dataflow jobs run myJobName *arguments*
当我试图更新作业时,我添加了下面两个参数,如指南中所提到的:<argument>--upd
我正在尝试编写一个脚本来自动化Java数据流作业的部署。该脚本创建一个模板,然后使用命令 gcloud dataflow jobs run my-job --gcs-location=gs://my_bucket/template 问题是,如果作业已经存在并且正在运行如果我通过maven运行作业,我可以执行更新,但我需要通过gcloud执行此操作,这样我才能拥有一个用于部署的服务帐户,以及另一个用于运行作
我有一个数据流作业,它执行以下代码>>> headers={'User-Agent': 'Mozilla/5.0 (X11; Linux x86_64Master Index of EDGAR Dissemination Feed\n', b'Last Data Received: March 31, 2019\n']
现在,完全相同的代码嵌入到数据流作业中作