不能由DataflowRunner执行

文章/答案/技术大牛

发布

1回答

go、google-cloud-dataflow、apache-beam

"Dataflow“和"DataflowRunner”在"--runner“选项设置的情况下不起作用。我检查了官方的Apache光束参考和Go手册，但我不明白原因。在命令行上执行的命令 go run test.go --runner=DataflowRunner \ --regionbigqueryio.Write(s, project, BQ, parse) bea

浏览 10提问于2021-06-17得票数 0

1回答

使用云函数触发数据流(Python SDK)作业

google-cloud-dataflow

我不能在云中通过shell命令触发执行-函数如下： "python", "-W", "ignore", "dataflow_ingestion_engine.py",

浏览 4提问于2019-10-22得票数 0

回答已采纳

1回答

Apache上带有数据流运行程序的MinimalWordcount示例

java、eclipse、google-cloud-dataflow、dataflow、apache-beam

我试图在windows上使用MinimalWordCount运行DataFlowRunner示例，使用MinimalWordCount -->，它与使用gcs的示例中的股票代码相同，但是我始终得到以下异常Pipeline.java:135) at com.dynaobject.apachebeamexperiment.MinimalWordCount.main(MinimalWordCount.java:77)由:需要gcpTempLocation，但未能从org.apache.beam.runners.dataflow.DataflowRun

浏览 3提问于2017-03-26得票数 5

回答已采纳

1回答

流水线外的Java代码不能在数据流上运行

java、google-cloud-dataflow、apache-beam

使用Apache光束/数据流执行此操作的正确方法是什么？

浏览 0提问于2018-07-21得票数 0

1回答

PGPy不会在GCP数据流管道上运行

google-cloud-platform、google-cloud-dataflow、apache-beam、python-3.8

我得到的是，所有东西都与DirectRunner一起工作，但是当我部署作业并在DataflowRunner上执行它时，就会得到PGPy使用方面的一个错误：我想我错过了DataflowRunner的一些东西。

浏览 1提问于2021-01-04得票数 0

回答已采纳

1回答

使用beam 2.0创建数据流模板管道时的身份验证错误

google-cloud-dataflow

-Dversion="0.1" \ -DinteractiveMode=falsemvn -Pdataflow-runner compile exec:java \ -Dexec.mainClass=org.apache.beam.examples.WordCountstagingLocation=gs://<STORAGE_BUCKET>

浏览 2提问于2020-04-21得票数 0

回答已采纳

4回答

用Python从数据流连接到CloudSQL

python、google-cloud-platform、google-cloud-dataflow、google-cloud-sql

实际情况 def cloudSQL(input): result = cursor.fetchone() yield input 这是使用DataflowRunnerserver on '<server ip>' (timed out)&

浏览 0提问于2018-12-18得票数 5

2回答

是否可以在不具有本地所有依赖项的情况下运行/序列化数据流作业？

python、google-cloud-dataflow、apache-beam

我已经使用Apache光束为Google Cloud Dataflow创建了一个管道，但我不能在本地拥有Python依赖项。但是，远程安装这些依赖项是没有问题的。在我的本地(开发)环境中，有没有可能在不执行Python代码的情况下运行作业或创建模板？

浏览 1提问于2019-09-27得票数 0

1回答

云数据流控制台仪表板中未列出云数据流作业

google-cloud-platform、google-cloud-dataflow、dataflow

我尝试使用下面的命令行参数来执行我的python数据流代码。python upload_simple_csv.py --运行者DataflowRunner --项目bigquery--poc-188207 --save_main_session True --temp_locationgs://resources-poc-atul/data/spikey_sales_we ekly.csv --output gs://resources-poc-atul/output/ --运行

浏览 1提问于2019-04-04得票数 0

1回答

由: java.lang.UnsupportedOperationException: BigQuery源文件必须拆分后才能读取

java、google-bigquery、apache-beam

我正在尝试使用Java BigqueryIO.read方法从bigquery中读取数据。但是得到了低于错误。2020-0

浏览 0提问于2020-06-09得票数 0

1回答

当我在上编写我的Beam管道时，如何运行我的.jar文件？

google-cloud-dataflow、apache-beam

但是我不能在那里使用我的.jar文件。如何使我的管道“进入”数据流？

浏览 0提问于2019-11-05得票数 0

回答已采纳

1回答

多模块项目触发数据流管道错误:无法将url (jar:file:/home/java/app.war!/WEB-INF/classes!/)转换为文件

spring-boot、google-cloud-dataflow、apache-beam

使用spring引导war /swagger执行数据流管道时出错：at org.apache.beam.runners.dataflow.DataflowRunner.fromO

浏览 0提问于2019-01-02得票数 0

回答已采纳

1回答

无法使用Java通过CLI命令创建google云数据流模板

java、google-app-engine、google-cloud-dataflow、apache-beam

但是，当我尝试执行连接我的数据流作业立即开始执行中提供的命令时，我不想开始执行，我只想创建一个模板并在以后执行它mvn compile exec:java =DataflowRunnerdataflowOptions.setStagingLocation("gs://stagingLocation/"); dataflowOptions.setRunner(DataflowRunne

浏览 2提问于2019-04-17得票数 1

4回答

如何在数据流作业启动的预定义模板中禁用公共ip

google-cloud-dataflow

我正在尝试使用使用python的google预定义模板部署数据流作业GCSPATH="gs://dataflow-templates/latest/Cloud_PubSub_to_GCS_Text" "jobName": "{jobname}".format(jobname=JOBNAME), "inputTopic" : "projects/{project}

浏览 0提问于2019-01-24得票数 0

回答已采纳

1回答

为什么Apache Beam中的CustomOptions没有继承DataflowPipelineOptions的默认属性？

google-cloud-dataflow、apache-beam、dataflow、apache-beam-io

我是个新手，正在尝试使用DirectRunner和DataflowRunner运行一个示例读写程序。使用项目时，程序运行得很好，但使用DataflowRunner时，它会显示“接口CustomOptions缺少一个名为‘DirectRunner’的属性”。(Not Working) : java -cp jarPath WordCount --input=inputPath --output=outputPath --runner=DataflowRunnerorg.apache.beam.sdk.io.TextIO$Write.to(Te

浏览 7提问于2019-11-26得票数 0

回答已采纳

1回答

卡夫卡SASL_SSL认证错误，如何认证？

java、authentication、ssl、apache-kafka、apache-beam

StringDeserializer.class) );at org.apache.beam.runners.dataflow.DataflowRunner.run(DataflowRunner.java:969) at org.apache.beam.runners.dataflow.DataflowRunne

浏览 8提问于2022-03-30得票数 0

3回答

Spring和Spring没有发现转换异常的转换器

spring-boot、spring-amqp、spring-remoting

Exchange DATAFLOW_EXCHANGERedelivered ○reply_to:); return exporter ;public DataflowRunner dataflowRunner()); factory.setDefaultRequeueRejected(false);

浏览 13提问于2016-05-06得票数 0

回答已采纳

3回答

在数据流管道中写入BigQuery时捕获失败

python、google-bigquery、google-cloud-dataflow、google-cloud-pubsub

当收到消息时，我执行一个转换步骤，将事件数据与我想要的BigQuery模式相匹配。但是，如果创建的输入不符合模式，则会遇到问题。

浏览 4提问于2018-05-08得票数 4

1回答

DataFlow工作者BigQuery权限错误

google-cloud-platform、google-cloud-dataflow

我一直试图在我的项目中执行Dataflow管道(Python)，其中我的GCP帐户分配了"Owner“角色。错误：python -m bigquery_to_gcs --输入gs://<GCS_path>/输入-输出gs://<GC

浏览 1提问于2021-08-20得票数 0

1回答

无法通过扩展CustomPipelineOptions添加DataflowPipelineOptions

java、maven、google-cloud-dataflow、apache-beam

); options.setUsePublicIps(false); <dependency> <artifactId>beam-runners-google-cl

浏览 2提问于2021-07-13得票数 0

回答已采纳

点击加载更多