我使用带有模板的Google : CI服务器(连续集成)将模板部署到GCS，然后使用gcloud dataflow jobs run命令从该模板启动批处理作业。现在，在管道本身中，我想知道这个确切管道的启动时间(用于输出文件的名称)。
这种反思是否可以在光束/数据流中进行？是否有可能从作业本身的内部获取作业名称和<em
浏览 0提问于2019-05-14得票数 0
我正在寻找从模板开始谷歌数据流工作的方式。我找到了rest api来执行此操作，并深入研究了api页面https://cloud.google.com/dataflow/docs/apis，但只找到了rest api来执行此操作。我想知道是否有像我们在存储中可以做的那样的java客户端，例如 Storage storage = StorageOptions.newBuilder().s
浏览 16提问于2019-05-31得票数 0
回答已采纳
通过使用以下命令，我能够在GCP数据流流道上直接运行非模板梁作业：--runner=DataFlowRunner --region=<region_name> 但是，在创建作业模板<
浏览 10提问于2022-09-19得票数 1
我试图通过一个(已经存在的) AppEngine应用程序启动数据流作业。DataFlow作业读取存储在DataStore中的GAE应用程序生成的数据，并将处理过的数据写入BigQuery。(Request.java)at com.google.cloud.dataflow.sdk.repackaged.com.goog
浏览 8提问于2016-03-21得票数 1
回答已采纳
我正在运行一个作业的谷歌数据流编写的阿帕奇光束，从BigQuery表和文件读取。转换数据并将其写入其他BigQuery表。作业“通常”会成功，但有时当我从大型查询表中读取数据时，会随机得到空指针异常，并且作业会失败：at(DataflowWorker.java:341)
at com.google.cloud.dataflow.wo
浏览 0提问于2017-06-23得票数 2
2回答
最终，这个云函数将触发一个云数据流作业。我现在面临的问题是，我不能从云函数调用Cloud作业。这就是我不能创建数据流模板的原因。而且，由于没有数据流模板，我从云函数调用Cloud作业的唯一方法是编写一个Python作业，它调用运行数据流作业的bash脚本。bash脚本看起来是这样的：--runn
浏览 0提问于2019-01-13得票数 4
回答已采纳
4回答
我正考虑在Compute引擎Linux中运行来自cron作业的管道，但这可能太简单了:)。这样做有什么问题，为什么没有人(我猜除了我)会建议这样做？
浏览 11提问于2017-05-06得票数 18
回答已采纳
2回答
为了重现性，我希望能够构建包含数据流作业的jars，然后使用不同的参数运行它们(例如，通过不同的帐户提升它们)。这也将简化回滚，因为构建将是不可变的。我目前正在使用maven的DataflowPipelineRunner运行作业，但是由于上面提到的自动化部署等原因，这是非常糟糕的。
如何从jar中直接运行数据流作业？
浏览 0提问于2017-04-26得票数 0
我们正在使用Dataflow Flex模板，并遵循本指南(https://cloud.google.com/dataflow/docs/guides/templates/using-flex-templates)来准备和启动作业。我要启动的模板如下所示，作业是使用gcloud beta dataflow flex-template run创建的 {
浏览 17提问于2020-07-22得票数 2
回答已采纳
我正在尝试部署一个Dataflow作业，该作业从BigQuery读取并按固定计划写入Cassandra。模板代码是用Java编写的，使用Apache和Dataflow库。我已经将模板放到上，并配置了一个Cloud实例以及用于触发Dataflow模板的云函数。我正在使用最新版本的所有束和BigQuery依赖关系。但是，我发现当使用相同的阶段模板部署作业时，BigQuery提取
浏览 2提问于2020-06-30得票数 1
回答已采纳
.java:925) at com.google.cloud.dataflow.sdk.io.datastore.DatastoreV1(SimpleDoFnRunner.java:49)
浏览 6提问于2017-08-30得票数 0
1回答
在应用程序引擎数据流作业中使用Dataflow API启动时，我必须向模板传递参数。com.google.api.services.dataflow.Dataflow.Projects.Locations.Templates.Launch request1 =
LaunchTemplateResponse response1 =
浏览 8提问于2017-11-15得票数 0
对于这种情况，我可以使用一个最小的Python代码示例，因为这似乎无法从Google平台或Apache文档中获得。如果能看到一些Python代码，我可以从执行以下操作的Datalab单元中运行这些代码，这将对我很有帮助。为了解决这个问题，我尝试使用Google和Apache文档中的单词计数示例，并对它们进行修改，以便在
浏览 0提问于2019-01-11得票数 0
回答已采纳
我目前正在使用Python 模板，我希望访问作业ID并使用它保存到特定的Firestore文档中。我在文档中找不到关于这一点的任何东西。
浏览 0提问于2018-09-17得票数 3
回答已采纳
我一直在尝试将一个示例nosql数据库导入到gcp数据存储中。当存储在gcs中时，数据存储请求特定扩展名的数据，即.overall_export_metadata。
浏览 63提问于2021-04-01得票数 1
我尝试运行数据流管道，从本地机器(Windows)读取数据，并使用DirectPipelineRunner将数据写入谷歌云存储。作业失败，错误如下:指定FileNotFoundException(因此我认为数据流作业无法读取我的位置)。我从本地计算机运行该作业，以运行我创建的基于GCP的模板。我可以在GCP Dataflow仪表板中看到它，但失败并显示以下错误。请帮帮忙。我也尝试了我的本地机器的IP或主机名以及我的本地位置，但面对这个FileNotFo
浏览 4提问于2018-08-10得票数 1
我有一个作为模板存储的管道。我使用node.js客户端从云函数运行这个管道。所有操作都很好，但是当我需要运行来自不同区域的模板时，我会得到错误。 environment: {
zone: "
浏览 0提问于2018-03-01得票数 1
回答已采纳
一旦使用Python和DataflowRunner在Google的云数据流中设计和测试了Apache管道，那么在Google中使用它并管理其执行是一种方便的方法吗？创建数据流模板？如何从开发环境中将其执行安排在开发人员执行之外？最好没有第三方工具，或者在Google云和Dataflow之外的额外管理工具/基础设施方面的需求。
浏览 1提问于2019-01-27得票数 2
回答已采纳
1回答
我有大约1500个作业要用Dataflow来实现。这些工作将每天安排。我们可以在作业中使用Bigquery客户端库使用大量的DML语句。列出我对Bigquery配额和限制的关注。参考资料：https://cloud.google.com/bigquery/quotas
如果在
浏览 1提问于2017-11-28得票数 0
回答已采纳
我的目的是使用test环境在一个不同的项目上启动一个Dataflow Java作业。t2 = DataFlowJavaOperator( jar="gs://path/to/dataflow-jar.jar我目前的解决方法是使用BashOperator，使用"env“将GOOGLE<
浏览 1提问于2018-10-08得票数 1
云服务器
ICP备案
云直播
对象存储
实时音视频
腾讯云开发者
