1回答
有一个从Pub/Sub读取数据、转换数据并将结果保存到GCS的管道。通常它在1-2周内工作良好。在那之后，它就变得糟糕了。Thread.java:748) 步骤01只是一个"Read PubSub Messages" >> beam.io.ReadFromPubSub(subscription=subscription) 在此之后，数据流将增加工作进程的数量作业仍处于RUNNNING状态。 我们只需要重新启动作业来解决它。但每隔两周就会发生一次。 我们怎样才能修复它？
浏览 19提问于2020-12-10得票数 2
1回答
经过一天的正常工作，从发布/订阅流式传输数据，扁平数据并将行写入BigQuery；数据流管道开始报告如下错误： Processing stuck in step s01 for at least 05m00s
浏览 9提问于2019-04-22得票数 1
我有一个流数据流正在运行以读取发布/订阅订阅。有没有办法做到这一点？我是不是漏掉了什么？或者API中缺少该功能。
浏览 3提问于2015-06-16得票数 4
我正在尝试使用谷歌提供的模板PubSub to BigQuery设置一个数据流作业。我看到一个用于指定云发布/订阅输入主题的选项，但我没有看到任何用于在GCP控制台UI中指定发布/订阅输入订阅的选项。
如果我提供了主题，job会自动创建一个订阅来读取所提供的主题中的消息。这样做的问题是，在数据流作业启动后，作业将仅看到发布到主题的消息。之前<e
浏览 3提问于2018-01-12得票数 3
回答已采纳
我正在尝试设计一个摄取应用程序，我首先认为在cron作业中编写一个简单的Python脚本来顺序读取文件(甚至在两个三线程中)，然后将它们作为消息发布到pub/sub是一个好主意。此外，我需要有一个数据流作业运行，始终从发布/订阅读取数据，并将它们保存到BigQuery。但是我真的想知道在这里我是否需要发布/订阅，我知道数据流可以非常灵活，我想知道我是否可以将1TB的数据
浏览 4提问于2019-02-15得票数 1
我有一个数据流作业，将发布/订阅订阅作为无限源。我想知道数据流在哪个阶段对传入的发布/订阅消息进行确认。在我看来，如果在数据流管道的任何阶段抛出异常，消息就会丢失。此外，我还想知道如何使用发布/订阅无限源编写数据流管道的最佳实践，以便在失败时进行消息检索。谢谢!
浏览 0提问于2017-10-13得票数 7
我有一个发布/订阅主题，它将定期(通常每隔几天或几周一次，但有时更频繁)接收批量消息。我想启动一个批处理数据流作业来读取这些消息，执行一些转换，将结果写入数据存储，然后停止运行。当一批新的消息发出时，我想开始一项新的工作。我已经阅读了Apache Beam Python SDK文档和许多问题，但对一些事情仍然不确定。
是否可以将发布/订阅IO作为非流作业的一部分进行读取？然后，同一作业</
浏览 2提问于2019-02-21得票数 1
当数据流作业无法或不愿意处理消息时，如何向发布/订阅发送NACK。logger.info("Started ZipFile Extractor");
pipeline.run().waitUntilFinish(); 上面是我用来运行ApacheBeam数据流管道作业的代码片段如果ProcessZipFileEventDoFn中发生任何故障，我希望向发布/订阅订阅发送一
浏览 19提问于2021-04-22得票数 1
我正在寻找一种方法，使谷歌DataFlow作业停止摄取从发布/订阅时，一个(特定的)异常发生。来自发布/订阅的事件是使用TableRowJsonCoder通过PubsubIO.Read.Bound<TableRow>读取的JSON，并使用BigQueryIO.Write.Bound直接流式传输到相反，我想要做的是停止接收来自发布/订阅的消息和/或使数据流作业
浏览 5提问于2017-06-10得票数 5
回答已采纳
我是GCP的新手，在阅读有关通过数据流服务自动调优的文档时，他们谈到了积压和依赖于它的自动伸缩。在这种特殊情况下，什么是backlog？如果我的管道正在从发布/订阅中读取，它是最旧消息的年龄还是未确认消息的数量？
浏览 17提问于2021-05-28得票数 1
回答已采纳
在使用gcloud dataflow flex-template run时，我很难理解--impersonate和--service-account-email之间的区别。据我所知，--impersonate对于gcloud是全局的，而另一个标志仅用于与数据流相关的命令。但在此期间，我仍然需要能够模拟我在使用--service-account-email时使用的服务帐户...非常感谢!艾德里安。
浏览 6提问于2021-01-22得票数 1
1回答
GCP数据流与云函数
、、、
我有一个现有的系统，其中的数据被发布到Pub/Sub主题，由云函数订阅者读取，并被推送到Big Query存储它(没有在订阅服务器CF中完成的额外转换)。这是一个好主意，将我的订户CF改为一个数据流流作业使用酒吧/子烧烤模板？使用它们的利弊是什么？
浏览 0提问于2019-11-09得票数 4
回答已采纳
我在GCP上的数据流作业(2019-05-07_06_51_21-705453987744722209)在过去的18小时内一直停留在状态“正在更新”中。作为此作业更新的作业已在相同时间内处于未启动状态(2019-05-07_07_48_56-11394590249055546323)。我不能取消或耗尽这两项工作。我试着从命令行执行(gcloud dataflow作业取消，等等)但得到的回应是： 无法取消作业2019-05-07_06_51_21-705453987744
浏览 12提问于2019-05-08得票数 1
目前，我正在使用Flex模板从微服务启动作业。我正在尝试找到一种更好的方法(而不是使用作业轮询方法)来获取数据流作业状态。基本上是尝试在数据流作业完成后将数据流作业状态发布到pubsub上。
浏览 19提问于2021-01-08得票数 0
2回答
所有这些存储桶都有一个关联的发布/订阅通知主题，该主题在文件创建事件时触发。每个事件都会触发一个数据流作业来处理该文件。为了限制这些请求，我限制了每个数据流作业可用的工作线程数量。然而，我想知道是否有一种方法可以对这些批处理作业进行排队？只有5到10个<
浏览 2提问于2021-06-11得票数 0
在写入大型查询之前，我想使用数据流作业对来自pubsub订阅的即将到来的消息进行加密。我使用pycryptodome==3.9.8，cryptography==3.1 python库来做这件事。在数据流作业中，我使用了以下两个导入 从加密导入随机从Crypto.Cipher导入AES 当我尝试在没有--requirements_file参数的情况下部署数据流管道时。它可以完美地部署，但在将消息发布到主题之后，它会抛出一个错误 ModuleNotFoun
浏览 6提问于2020-09-25得票数 1
回答已采纳
我有一个功能齐全的端点，当在用户的Gmail收件箱中检测到更改时，它将接收来自PubSub订阅的POST请求。在端点内部，我可以成功地提取为我的目的所需要的一切。在Gmail端:似乎发送到我的端点的有效负载无法更改，并且总是以如下所示的形式出现：
在PubSub方面:您可以创建自己的主题，并将键/值对作为自定义属性添加到主题中，但我似乎无法修改Gmail发布给我的主题的有效负载
浏览 0提问于2018-11-13得票数 0
回答已采纳
1回答
使用Cloud functions安排数据流作业的一些最佳选项是什么？我想安排数据流作业在某个时间启动和停止。
数据流作业可能正在从无限源读取，并且可能会连续运行，因此希望将其安排为停止。
浏览 0提问于2018-08-16得票数 1
我希望能够将Google平台( GCP ) Pubsub订阅的消息转发到另一个GCP主题，这可能是在另一个GCP项目中。
是否可以通过推送端点URL (目标主题的url是什么？)
浏览 3提问于2016-11-17得票数 4
我想在数据流作业成功完成后将消息发布到发布/订阅主题。 为此，我使用wait_until_finish()，然后在确认管道已完成(当前状态为JOB_STATE_DONE)后发布一条消息。当我在本地执行管道(使用DirectRunner或DataflowRunner)时，我得到了所需的结果。但是，当我将此管道部署到模板，然后从模板创建作业时，p.run()外部的代码不会执行。result.wait_until_finish()
浏览 13提问于2019-08-30得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
腾讯会议
云直播
对象存储活动推荐
腾讯云开发者
