我会在DataFlow运行器上执行我的Wordcount项目，我使用beam文档中的命令，但我得到了这个错误： C:\BIGDATA_FORMATION\TP_WC_GCP\word-count-beamexec-maven-plugin:1.6.0:java (default-cli) @ word-count-beam ---
sept. 01, 2020 5:16:16 PM org.apache.beam.runners.dataflow.options.DataflowPipelineOptionsat org.
浏览 16提问于2020-09-02得票数 0
读取csv文件并通过数据流将其加载到bigquery -为此使用python编码，而不是模板-如何使用terraform(GCP)帮助执行此任务
浏览 14提问于2022-11-13得票数 0
我需要使用Rest调用来运行Spring Cloud DataFlow任务。此外，通过Rest，我想传递一个参数。我浏览了localhost:9393 Dataflow服务器上的示例路径，但我不明白如何在带参数的情况下运行功能区。你知道怎么做吗？
浏览 11提问于2019-08-05得票数 1
1回答
我正在尝试运行来自google云函数的管道。不幸的是，我无法通过我找到的所有示例的第一行。我安装了google apis：这是我现在尝试运行的代码：constdataflow = google.dataflow('v1b3');const dataflow = google.
浏览 9提问于2018-02-28得票数 0
回答已采纳
我正在尝试通过部署管理器创建一个模板Pub/Sub到BigQuery的数据流作业。问题是在运行gcloud deployment-manager types list命令之后，我没有看到任何数据流服务。
是否可能有一个yaml文件来创建数据流作业？
浏览 3提问于2020-09-01得票数 2
回答已采纳
我在运行示例spring-cloud-dataflow源应用程序时遇到了问题。应用程序退出，返回代码0(并且它应该可以正常工作)。
浏览 0提问于2016-12-09得票数 0
当Dataflow worker被卡住时，能够获得worker遇到问题的Python进程的线程转储将是很有帮助的。
如何识别和获取停滞的Python进程的线程转储？
浏览 3提问于2018-05-11得票数 1
1回答
我找到了这个Bigtable with Dataflow示例
我发现： -这是正确的轨道吗？
浏览 0提问于2019-01-21得票数 0
回答已采纳
我正在运行spring cloud dataflow server 2.6.0作为docker容器，我想知道容器中服务器日志文件所在的文件夹。 我知道此文件用于配置数据流服务器的日志记录。https://github.com/spring-cloud/spring-cloud-dataflow/blob/master/spring-cloud-dataflow-server/src/main这个日志
浏览 21提问于2020-08-21得票数 0
我已经成功地运行了WordCount示例，但未能运行TrafficStreamingMaxLaneFlow示例，我到底应该使用什么参数？我的命令行：mvn exec:java -pl examples -Dexec.mainClass=com.google.cloud.dataflow.examples.TrafficStreamingMaxLaneFlowto execute goal org.codehaus.mojo:exec-maven-plugin:1.1:java (default-cli)
浏览 0提问于2015-03-10得票数 0
1回答
我已经开始使用Scala SDK Scio开发我的第一个DataFlow工作。数据流作业将以流模式运行。什么是最好的？
浏览 10提问于2019-10-22得票数 1
我正在尝试谷歌提供的单词计数示例。当我从本地机器运行它时，它正在成功运行。但是当我在Google中运行它时，它会失败，只有下面的例外
因此，当我移除Sum.Perkey转换时，它正在成功运行。
com
浏览 2提问于2015-06-23得票数 2
尝试使用Python SDK运行Google Dataflow示例。我可以在本地运行：但是，当尝试在GCP上运行时： --temp_location gs://myprojec
浏览 0提问于2017-05-15得票数 2
self.run().wait_until_finish() (self.state, getattr(self._runner, 'last_error_msg', None)), self)
apache_beam.runners.da
浏览 6提问于2019-10-16得票数 5
我正在尝试将Spring Cloud dataflow Yarn SPI与在Hortonworks sandbox 2.4上运行的Spark集成。有没有人有我们需要做的配置示例？我的Spark程序在我使用spark-submit运行它时执行正常，但在注册Spark应用程序后运行Spring Cloud dataflow时出现问题。
浏览 0提问于2016-05-27得票数 1
在运行在Kubernetes上的SCDF中，向数据流服务器传递附加参数或环境变量的格式是什么？当在Docker中本地运行时，我可以做如下所示的事情，但不确定使用舵图部署到Kubernetes时等效的是什么。dataflow-server: container_name: dataflow<
浏览 1提问于2021-08-06得票数 0
回答已采纳
我正在尝试使用DataStore从DataFlow写信给com.google.cloud.datastore。我的代码如下所示(受1中示例的启发)： LocalDatastoreHelper HELPER =(DoFnRunnerBase.java:314)
at com.google.cloud.dataflow.sdk.util.DoFnRunnerBase$DoFnProcessContext.sideOutput(Partition
浏览 4提问于2016-09-05得票数 1
回答已采纳
我正在运行一个简单的UDF JavaScript映射程序，它映射JSON数据并将其导入BigQuery。我以前运行过其他UDF函数，从来没有遇到过这样的错误。有任何方法来调试数据流模板UDF错误(使用实际的调试器或至少使用console.log或类似的)吗？$1.output(GroupAlsoByWindowsParDoFn.java:183) at com.google.cloud.dataflow.worker.GroupAlsoByWindowFnRunner到目前为止，我已经尝试了所有的方法：
单元使
浏览 0提问于2018-05-18得票数 1
我正在尝试运行spring dataflow本地服务器，并为所有应用程序配置rabbitmq绑定器。我在主机172.17.0.2上的docker上运行rabbitmq。java -jar spring-cloud-dataflow-server-local-1.2.3.RELEASE.jar
--spring.cloud.dataflow.applicationProperties.stream.spring.cloud.stream.binders.rabbit1.
浏览 1提问于2017-08-12得票数 0
我希望将SCDF服务器和skipper服务器嵌入到现有的单个微服务中，而不是专用于可执行的jars。有可能吗?我们有样品吗？
浏览 7提问于2022-02-23得票数 0
云服务器
ICP备案
云直播
对象存储
实时音视频
腾讯云开发者
