我们是否可以在GCP中使用项目A中的项目B的模板触发数据流作业(Apache beam

文章/答案/技术大牛

发布

1回答

如何在GCP中混淆Scio Scala API的第三方库

scala、spotify-scio

因此，在这个过程中，我无法在GCP中配置Scala API。请帮帮忙。链接：

浏览 0提问于2017-10-27得票数 0

1回答

如何将非模板梁作业转换为模板作业，并在GCP数据流流道上运行？

google-cloud-platform、google-cloud-dataflow、apache-beam

通过使用以下命令，我能够在GCP数据流流道上直接运行非模板梁作业：--runner=DataFlowRunner --region=<region_name> --project=<project

浏览 10提问于2022-09-19得票数 1

1回答

google-cloud-platform、google-cloud-dataflow、apache-beam、dataflow

它与GCP数据流(Apache光束)相关。我在项目B中创建了一个数据流模板，如果我使用一个人的电子邮件或服务帐户运行它，一切都会正常工作。我正在寻找一个解决方案，以便使用项目A (sa-A@PROJECT-A)中定义的服务帐户从其他项目A运行项目B的数据流模板</e

浏览 17提问于2020-01-14得票数 1

回答已采纳

3回答

Pubsub订阅找不到用户代理配置

java、google-cloud-platform、apache-beam、dataflow

我有一个数据流作业，在这个用户代理中运行OK (我们只配置Apache版本，这样JDK环境就会自动配置) Apache_Beam_SDK_for_Java/2.19.0(JDK_11_environment发布子订阅是存在的，它与我们以前使用的相同，甚至作业配置属性中的链接也运行良好，并导航到订阅。以前，我们已经成功地部署了在

浏览 0提问于2021-04-27得票数 2

1回答

BeamRunPythonPipelineOperator没有提交数据流作业。

google-cloud-platform、airflow、google-cloud-dataflow、apache-beam、google-cloud-composer

我编写了代码，它从pubsub读取数据并插入到DB.When中，我创建了模板文件并手动提交数据流作业，它运行良好，但是通过composer模板文件正在创建，但是数据流作业没有提交。composer在项目A中，我想在项目B中提交数据流作业。我在后台文件中使用的是gcp_conn_id。我已经创

浏览 21提问于2022-11-09得票数 0

回答已采纳

1回答

在运行flex模板时，将抛出NoClassDefFoundError: org/apache/beam/sdk/transforms/DoFn

google-cloud-platform、google-cloud-dataflow、dataflow

我在数据流中运行gcp flex模板。Error: Unable to initialize main class.com.mycompany.pubsubdfjobs.protocol1_0.PubSubRedis

浏览 18提问于2022-07-07得票数 1

1回答

从云函数触发数据流作业的问题: ModuleNotFoundError:没有名为“functions_framework”的模块

python-3.x、google-cloud-functions、google-cloud-dataflow、apache-beam

我正在做一个简单的云功能，基于文件上传到GCS，这将触发一个数据流作业。为了简单起见，我的当前管道只是从GCS读取文件，然后将它写到另一个桶中。虽然这个Dataflow作业在没有云函数的情况下工作得很好，但是Cloud做了一些其他的事情。它正确地记录文件详细信息，它会触发一个数据流作业，但是如果出现“模块未找到”错误，则Dataflow就会失败。因此，当函数正确地执行和触发

浏览 7提问于2022-06-12得票数 0

回答已采纳

1回答

如何为GCP数据流作业构建租户级别指标计数器？

google-cloud-platform、google-cloud-dataflow、apache-beam、metrics

目前，我正在尝试使用apache beam metrics为GCP数据流作业创建自定义指标，并希望检查是否可以基于租户跟踪/分组计数器。例如，我们有多个租户生成的事件，所有事件都在一个数据流作业中处理(写入大表)，我想添加度量过滤器来按租户对它们进行分组，这样我们就可以在租户级别看到elmentsAdded。

浏览 5提问于2020-06-04得票数 0

1回答

从数据流作业创建云sql表

java、google-cloud-dataflow、apache-beam、google-cloud-sql

有一个将表数据从BigQuery复制到CloudSql的管道。云SQL表的创建发生在数据流之外。现在我们需要在数据流中创建表。我有表格要创建在GCS存储桶中作为.sql文件。下面是将表从BQ复制到sql的代码片段。.withPreparedStatementSetter(new StatementSetter(some_map))); p.run(); 有没有一种方法可以使用

浏览 75提问于2021-09-20得票数 1

回答已采纳

1回答

对于GCP上的数据管道，最好的服务是什么

google-app-engine、google-cloud-platform、devops、google-kubernetes-engine

我想在GCP上的项目上部署服务(使用Apache光束的python脚本)，执行时间有时长达24小时。我需要这个服务与数据管道始终工作。此外，我还有一个web应用程序，它将使用来自数据管道的结果。我的解决方案是，我在GCP app Engine上部署web应用程序，在K8s集群上部署python脚本，因为作业可以持续24小时，而且App Engine是无服务器的，所

浏览 9提问于2021-01-10得票数 0

回答已采纳

1回答

数据流插入到BigQuery失败与大量文件的亚洲东北1的位置

google-bigquery、google-cloud-dataflow、apache-beam

我在Composer上使用来创建BigQuery模板。同一程序在亚洲-东北1位置失败。at org.apache.beam.sdk.io.gcp.bigquery.BigQueryServicesImpl$JobServiceImpl.startJob(BigQueryServicesIm

浏览 0提问于2018-08-17得票数 0

2回答

如何在GCP上的屏蔽VM中运行模板化云数据流作业

google-cloud-dataflow、dataflow

根据，可以在GCP上的屏蔽VM中运行云数据流作业。对于非模板作业，如中所述，可以通过提交--dataflowServiceOptions=enable_secure_boot标志实现，如下所示： mvn -Pdataflow-runner compileexec:java -Dexec.mainClass=org.apache.beam.examples.WordCount -Dj

浏览 13提问于2022-03-23得票数 1

回答已采纳

1回答

如何在Dataflow中进行这种类型的测试(在twitter上称为特性测试)？

google-cloud-dataflow、apache-beam、dataflow

我们做一些叫做特性测试的事情，如so -> 我的第一个问题是DataFlow (apache )能接

浏览 3提问于2021-04-07得票数 0

回答已采纳

1回答

运行WordcCount示例DataFlow运行器

google-cloud-dataflow、apache-beam、word-count

我会在DataFlow运行器上执行我的Wordcount项目，我使用beam文档中的命令，但我得到了这个错误： C:\BIGDATA_FORMATION\TP_WC_GCP\word-count-beam[INFO] skip non existing resourceDirectory C:\BIGDATA_FORMATION\TP_WC_GCP\word-count-beam\src\main\resources:55)

浏览 16提问于2020-09-02得票数 0

1回答

如何修复写入java.lang.RuntimeException的数据流模板作业中的"java.lang.RuntimeException:未能创建作业“？

google-cloud-dataflow

但是我的数据流作业失败了，我在下面遇到了这个错误： java.lang.RuntimeException: Failed to create job with prefix beam_bq_job_LOAD_jdbctobigquerydataflow0releaser1025092115d7a229e9at org.apache.beam.sdk.io.gcp.bigquery.BigQueryHelpers$PendingJob.runJob ( org/

浏览 11提问于2022-11-19得票数 2

回答已采纳

5回答

Google Cloud Dataflow Python，检索职务ID

python、google-cloud-platform、google-cloud-dataflow

我目前正在使用Python 模板，我希望访问作业ID并使用它保存到特定的Firestore文档中。我在文档中找不到关于这一点的任何东西。

浏览 0提问于2018-09-17得票数 3

回答已采纳

1回答

无法调试的数据流异常

google-cloud-dataflow

我们在数据流中创建了一个非常简单的作业。它定期从BigQuery读取并存储到RedisCluster中。管道代码如下所示。但是，当我们从同一个JAR生成一个模板，使用通过云函数执行时，我们发现了以下异常： java.io.FileNotFoundException: No files matched spec: gs://dataflow-bucket/tmp/BigQueryExtractT

浏览 1提问于2018-11-20得票数 3

1回答

从BigQuery导出到PubSub -数据流不会发生任何事情

google-bigquery、google-cloud-dataflow、google-cloud-pubsub

我正在尝试设置一个数据流作业，以便将数据从PubSub主题写入BigQuery表。我单击了PubSub主题控制台中的"Export“，并执行了以下详细步骤。创建作业后，我看到的流程图中有一个框"WriteSuccessfulRecords“，时间信息在该框中不断上升，日志查看器报告如下所示的无休止的消息：

浏览 3提问于2020-11-05得票数 1

2回答

如何从PubSub主题中读取数据并将其解析到束流管道中并打印出来

google-cloud-platform、google-bigquery、google-cloud-dataflow、apache-beam、google-cloud-pubsub

我有一个在pubSub中创建主题并将消息发布到该主题的程序。我还有一个自动的数据流作业(使用模板)，它将这些消息保存到我的BigQuery表中。现在我打算用python管道替换基于模板的作业，我的需求是从PubSub读取数据，应用转换，并将数据保存到BigQuery/发布到另一个PubSub主题。我开始用python编

浏览 3提问于2019-09-16得票数 0

2回答

让Dataflowrunner与--experiments=upload_graph一起工作

google-cloud-dataflow、apache-beam

我有一个管道，它产生一个数据流图(序列化的JSON表示)，它超过了API允许的限制，因此不能像通常那样通过apache beam的dataflow runner启动。现在使用此参数，确实会导致dataflow runner将额外的dataflow_graph.pb文件上载到通常的pipeline.pb文件旁边的登台位置。我证实它确实存在于gcp存储中。但是，gcp数据流</

浏览 43提问于2019-04-24得票数 5

回答已采纳

点击加载更多

如何在GCP中混淆Scio Scala API的第三方库

如何将非模板梁作业转换为模板作业，并在GCP数据流流道上运行？