我正在尝试为Google的数据流创建一个自定义模板。我只想从Pubsub打印一些消息到控制台。当我尝试暂存我的模板时，我得到一个错误，云发布/订阅仅可用于流式管道，而我的管道旨在成为流式管道:x。我正在做什么，使我的管道批处理而不是流式？gs://[BUCKET]/temp
--template_location gs://[BU
浏览 31提问于2020-11-05得票数 1
回答已采纳
所以我正在做一个小项目，使用Google Dataflow和apache beam建立一个流管道。我看了一些教程，能够建立一个管道并将其流式传输到BigQuery中，但我希望将其流式传输到一个完整的关系数据库(即: Cloud SQL)中。我已经通过这个网站和整个谷歌进行了搜索，似乎实现这一目标的最佳途径是使用JdbcIO。我在这里有点困惑，因为当我查找如何做到这一点的信息时，所有这些都是指批量写入
浏览 4提问于2018-02-02得票数 2
回答已采纳
requirements.txt文件的样子Flask==0.12.2gunicorn==19.7.1six==1.10.0google-cloud$ ls -1
浏览 5提问于2017-10-20得票数 2
回答已采纳
管道开始的代码： p.apply(BigQueryIO.Read.fromQuery(对于DataflowPipelineOptions，我仅在GCS和项目上将暂存位置设置为文件夹。at com.google.cloud.dataflow.sdk.r
浏览 1提问于2015-07-17得票数 0
2回答
我需要从Cloud函数触发Cloud管道。但是云函数必须用Java编写。所以云函数的触发器是的Function /Create事件，也就是说，当一个文件上传到GCS桶中时，云函数必须触发云数据流。当我创建数据流管道(批处理)并执行该管道时，它将创建一个dataflow管道模板并创建一个Dataflow作业。但是，当我在Java中创建一个云函数并上传一个文件时，状态只表示"ok&q
浏览 14提问于2020-08-21得票数 9
回答已采纳
对于每条记录，我需要将其与Google Datastore中的相应记录进行比较。如果文件中的记录与数据存储区中的记录不匹配，我需要更新数据存储区记录并将任务队列任务入队。唯一的方法似乎是通过Google Cloud Task的HTTP api (https://cloud.google.com/tasks/docs/creating-http-target-tasks)我研究过使用pu
浏览 31提问于2019-06-18得票数 0
4回答
我只需要每天运行数据流管道，但在我看来，像这样需要构建整个web应用程序的解决方案似乎有点过了。我正考虑在Compute引擎Linux中运行来自cron作业的管道，但这可能太简单了:)。
浏览 11提问于2017-05-06得票数 18
回答已采纳
Beam2.1管道在有状态的ValueState中使用DoFn。它在单个工作人员中运行良好，但是当启用缩放时，如果“无法从状态读取值”和下面的根异常，则会失败。有什么原因吗？Caused by: java.util.concurrent.ExecutionException: com.google.cloud.dataflow.worker.KeyTokenInvalidException(AbstractFuture.java:500)
at com.google.<
浏览 5提问于2017-10-07得票数 2
回答已采纳
长版本at com.google.cloud.dataflow.sdk.runners.PipelineRunner.apply(PipelineRunner.java:74)
at com.google.cloud.dataflow.sdk.run
浏览 4提问于2016-09-21得票数 5
回答已采纳
我尝试在Google Cloud Dataflow中运行Apache光束管道(Python)，这是由Google Cloud Coomposer中的DAG触发的。我的dags文件夹在各自的GCS存储桶中的结构如下： /dags/ dataflow/
浏览 16提问于2020-01-13得票数 2
我试图通过Google Cloud Scheduler执行一个自定义的数据流模板，但是当我执行作业时，我得到了一个UNAUTHENTICATED异常。如何授予Google Cloud Scheduler访问权限以使用Dataflow google API？下面是我使用的URL和POST正文： https://dataflow.googleapis.com/v1b3&#x
浏览 13提问于2019-03-15得票数 0
回答已采纳
4回答
我正在尝试遵循中的这个简单的数据流示例。 at com.google.cloud.dataflow.sdk.u
浏览 0提问于2016-03-19得票数 7
我正在编写一个定制的DataFlow无界数据源，它是从Kafka0.8中读取的。我想使用DirectPipelineRunner在本地运行它。(TransformTreeNode.java:219) at com.google.cloud
浏览 3提问于2016-01-22得票数 7
回答已采纳
1回答
我必须使用Google Dataflow Process中的Google Cloud函数逐个触发多个模板。执行一个模板后，必须调用另一个模板。authClient.createScopedRequired()) { 'https://www.googleapis.com/auth
浏览 0提问于2017-10-10得票数 1
/latest/Stream_GCS_Text_to_Cloud_PubSub_metadata"gcloud dataflow jobs run template_test \--staging-location=gs:/my_bucketdependen
浏览 2提问于2020-04-24得票数 0
回答已采纳
3回答
根据的说法，Dataflow工作模板的创建“目前仅限于Java和Maven”。但是，跨GCP的数据流站点的Java文档是.至少可以这么说。Dataflow的1.x和2.x版本在细节上相去甚远，我有一些特定的代码要求将我锁定在2.0.0r3代码基中，所以我几乎需要使用Apache。然而，现在我们似乎陷入了僵局，因为我们有一个特定的目标，试图将我们的许多后端会议集中在GCP的Dataflow中，而GCP Dataflow似乎没有对Gradle的正式支持。是
浏览 5提问于2017-04-28得票数 8
回答已采纳
我已经使用Apache光束为Google Cloud Dataflow创建了一个管道，但我不能在本地拥有Python依赖项。但是，远程安装这些依赖项是没有问题的。在我的本地(开发)环境中，有没有可能在不执行Python代码的情况下运行作业或创建模板？
浏览 1提问于2019-09-27得票数 0
我有一个简单的管道，只执行读取PubsubIO.Read.subscription。这在1.6.1 (成功获取>10k元素)中没有发生。有人知道解决办法吗？我还注意到1.9.0的抓取速度比1.6.1快得多。对于1.6.1，它似乎使用了10个元素的批次。"))Jan 05, 2017 2:06:33 PM com.google.cloud.dataflow.sdk.io.PubsubUnboundedSource apply:
浏览 4提问于2017-01-04得票数 3
我正在通过Cloud服务使用ApacheBeam2.2SDK运行一个批处理管道。有751个文本文件，我使用TextIO.readAll()转换解析、反序列化和写入BigQuery中的日期分区表。(SimpleParDoFn.java:407)
浏览 1提问于2018-01-16得票数 1
回答已采纳
读取时，在从批处理模板读取BigQuery时似乎有一个特殊的函数可调用：
<dependency> <artifactId>beam-sdks-java-io-google</em
浏览 0提问于2018-11-28得票数 3
回答已采纳
云服务器
ICP备案
云直播
对象存储
实时音视频
腾讯云开发者
