我有一个问题，我正在使用python创建数据流模板，该模板在启动新的数据流作业时需要接受3个用户定义的参数。问题出现在beam.io.gcp.pubsub.WriteToPubSub()中，我试图从ValueProvider提供主题名称，根据谷歌文档，在创建模板时需要使用该名称： https://cloud.google.comstaging_location gs://xxxx-xxxxxx-xxxx/
浏览 20提问于2020-05-02得票数 1
1回答
我有一个要求，我需要创建一个数据流作业，该作业将通过过滤将作为json数据一部分的属性的消息，将数据从Google PubSub主题传输到BigQuery表。使用谷歌提供的模板，我可以使用谷歌提供的"PubSub to BigQuery“模板，但这不允许对数据进行过滤。
有办法定制模板"PubSub到Bigquery“吗？
浏览 0提问于2018-11-27得票数 2
1回答
继我在谷歌中找到的之后，我尝试做一个示例设置，在pubsub中发布消息，并使用dataflow sql将其加载到bigquery表中。但是，当我创建数据流作业时，会出现以下错误：
请帮助我解决这个问题，并澄清我以下的疑虑
浏览 11提问于2022-07-07得票数 0
1回答
我有一个数据流管道，它从PubSub Lite读取消息，并将数据流式传输到BigQuery表中。该表按天进行分区。使用以下命令查询表时：BigQuery但是，当实际运行查询时，我没有得到任何结果。我的管道已经运行了整整一周，在过去的两天里我得到了同样的结果。然而，对于2021-10-11和之前的几天，我看到了实际的结果
浏览 4提问于2021-10-14得票数 2
假设我们有一些数据是通过Google PubSub主题输入的，其流量模式本质上是尖峰的，在数据以分钟的速度快速进入之前，可能会有很长的安静时间。为了处理这些数据，如果我们要使用基于订阅的PubSubIO作为数据源的流模式数据流，数据流将始终处于运行状态，只有最少的工作人员，还是会在数据突发出现时重新启动，但一旦进入安静期就停止了？
浏览 1提问于2016-10-31得票数 1
回答已采纳
1回答
我正在尝试使用类似于本文末尾详细介绍的apache数据流管道：<code>C0</code>。我尝试下载的goes-16数据集是：<code>C1</code>。因此，我可以创建一个pub/sub主题并将文本数据流式传输到我的pub/sub主题，然后使用apache stream从pub/sub主题下载，但这对我来说似乎是一种倒退。有没有一种方法可以让我在更新时直接使用apache-
浏览 21提问于2020-08-06得票数 0
1回答
我发现当我创建一个设备并添加元数据时，它作为一个消息属性出现在PubSub中。它非常有用，例如，对于数据流处理，我可以进行一些聚合并构建额外的逻辑，而不需要数据丰富操作。但是，当我的设备通过网关发送数据时- PubSub消息中没有属性。我可以将元数据添加到网关，但结果相同- PubSub消息中没有属性。为什么？
浏览 24提问于2020-06-15得票数 2
错误:错误运行命令'gcloud beta资产提要创建asset_change_feed --project=project_id -pubsub=asset_change_feed‘：Output:使用: gcloud beta资产提要创建FEED_ID --PUBSUB=PUBSUB_TOPIC(--资产-名称=资产_名称，.有关此命令及其标志的详细信息，请运行: gcloud beta资产提要创建--帮助
使用terraform，我们尝试创建一个数据流作业和一个名为ass
浏览 5提问于2020-01-23得票数 1
回答已采纳
在写入大型查询之前，我想使用数据流作业对来自pubsub订阅的即将到来的消息进行加密。我使用pycryptodome==3.9.8，cryptography==3.1 python库来做这件事。在数据流作业中，我使用了以下两个导入 从加密导入随机从Crypto.Cipher导入AES 当我尝试在没有--requirements_file参数的情况下部署数据流管道时。它可以完美地部署，但在将消息发布到主题之后，它会抛出一个错误 ModuleNotFoun
浏览 6提问于2020-09-25得票数 1
回答已采纳
我指的是谷歌提供的数据流。
一旦被数据流读取的消息不会被确认。我们如何确保一旦被数据流所消耗的消息被确认，并且对任何其他订阅者都不可用？
浏览 2提问于2020-10-21得票数 0
回答已采纳
在这个项目中，我们有两个数据流作业通过一个PubSub主题和订阅进行通信：
该管道基于每个消息工作，因此它没有自定义窗口策略应用，除了GlobalWindows在这条管道的末尾，我们击沉(写)了所有已经被分配给属性的映射的消息，包括它们的事件时间戳(例如"published_at")到使用PubsubIO.writeMessages()的PubSub主题。我们检查并确认这些时间戳是，而不是PubS
浏览 0提问于2018-10-08得票数 0
当我尝试Node.js示例时，我在下面得到了这个错误。有人知道怎么修吗？tmp/pubsub/node_modules/gcloud/lib/pubsub/index.js:474:7 projectId: 'xxxxx&
浏览 6提问于2016-01-27得票数 2
回答已采纳
我一直在阅读关于DataFlow如何在流中读取数据时破坏消息。根据和的答案，似乎DataFlow 'ack‘是按包发送的消息，只要它完成了这个包，那么它就会’打包‘其中的消息。包中的数据将持久化到多区域桶中，并且消息将被确认。那就想象一下整个地区都会垮掉。中间数据仍将在桶中(因为我们多区域)。为了避免丢失任何数据，应该遵循哪些步骤？关于如何处理这种主动/主动方法的建议，以便在一个区域完全关闭时不松散数据？
请告诉我，
浏览 2提问于2020-03-10得票数 2
回答已采纳
2回答
数据流流式作业未缩减规模
、、、
我有一个数据流作业，它处理从pubsub主题使用的数据，并将数据转换/写入到bigtable实例。然而，自12月11-12日以来，数据流工作者的数量一直在持续增加，达到最大数量(15个)，这导致我们的数据流使用成本很高。正如文档中提到的(参考：)：如果流管道积压低于10秒，并且工作人员在几分钟的时间内平均使用少于75%的CPU，则数据流将缩减。缩减规模后，员工的平均CPU利用率为75%。稳定后，工作进程的CPU利用率约为6%，这远远低于缩减时
浏览 1提问于2020-12-21得票数 2
问题陈述是我们正在自定义PubSubToBQ提供的PubSubToBQ数据流java模板，在该模板中我们将配置多个订阅/主题来读取数据并将数据推送到多个Bigquery表中，这需要作为单个数据流管道执行但是，当我们从eclipse执行模板时，我们必须在gcs桶上传递订阅/主题和烧烤细节，然后使用具有不同订阅和烧烤细节的gcloud命令运行模板。数据流作业不会被新的订阅表或BQ表覆盖。我使用谷歌提供
浏览 0提问于2019-07-16得票数 0
1回答
我试图理解这个链接中提供的google云示例中的示例。
The fingerprint of the deployment is a-v3HjAHciZeSLuE-vSeZw==
W
浏览 0提问于2018-05-05得票数 4
我正在使用数据流kafka到bigquery模板。启动数据流作业后，它会在队列中停留一段时间，然后失败，出现以下错误：在应聘工作时，我提供了以下参数：
kafka主题名引导服务器ip和端口(私有ip)bigquery主
浏览 3提问于2020-12-07得票数 0
2回答
在Python、和pubsub库的上下文中，和pubsub是如何比较的？我什么时候该使用其中一个呢？
浏览 2提问于2011-03-05得票数 30
回答已采纳
我正在努力连接一个覆盆子Pi (3B+)到Google，并将传感器的数据发送到谷歌IoT核心。但我在这件事上找不到任何内容。如果有人能帮我处理同样的事情，我会非常感激的。谢谢
浏览 1提问于2019-07-22得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
云直播
对象存储
实时音视频活动推荐
腾讯云开发者
