无法从GCP pubsub读取
GCP Pub/Sub是Google Cloud Platform（GCP）提供的一种可扩展的消息传递服务，用于在分布式系统之间进行可靠且高效的异步通信。它支持发布者（Publisher）将消息发布到主题（Topic），并允许订阅者（Subscriber）订阅感兴趣的主题以接收消息。
Pub/Sub的主要特点包括：
- 可靠性：Pub/Sub提供至少一次的传递保证，确保消息能够可靠地传递给订阅者。
- 可扩展性：Pub/Sub能够处理高吞吐量的消息流，适用于大规模的分布式系统。
- 实时性：Pub/Sub能够以低延迟将消息传递给订阅者，使得实时数据处理成为可能。
- 持久化：Pub/Sub会将消息持久化存储，即使订阅者离线也能确保消息不会丢失。
应用场景：
- 实时数据处理：Pub/Sub可用于处理实时数据流，例如日志收集、事件驱动的架构、实时分析等。
- 异步任务处理：Pub/Sub可以将任务发布到主题，由订阅者异步处理，提高系统的可伸缩性和响应性。
- 消息队列：Pub/Sub可用作分布式系统之间的解耦媒介，提供可靠的消息传递机制。
腾讯云相关产品推荐： 腾讯云提供了类似的消息队列服务，名为消息队列 CMQ（Cloud Message Queue），它具有高可靠性、高可用性和高性能的特点。CMQ支持多种消息传递模式，包括点对点、发布/订阅和广播模式，适用于各种场景。
腾讯云CMQ产品介绍链接地址：https://cloud.tencent.com/product/cmq
相关·内容
1回答
无法从GCP pubsub读取
google-cloud-platform、spring-cloud-stream、google-cloud-pubsub、spring-cloud-gcp
我正在努力从云流处理器正在写入的目标通道读取消息。spring流配置：spring.cloud.gcp.pubsub.project-id=proj
浏览 25提问于2019-08-21得票数 1
回答已采纳
1回答
用Dataflow Python从PubSub读取AVRO消息
python-3.x、google-cloud-dataflow、avro、google-cloud-pubsub
我需要阅读另一个GCP项目的PubSub主题的AVRO消息。我之前已经实现了Python管道，它从PubSub读取JSON消息并写入BigQuery。但我对处理阿夫罗的信息很陌生。我试图查找AVRO的Python文档，它将我指向这个链接
在这个链接中，有从文件读取和写入文件的示例，但我认为从PubSub读取这些函数并不有用。我使用下面的转换从PubSub读取，其中输出是字节串。&q
浏览 9提问于2020-04-14得票数 2
回答已采纳
2回答
无法在python2.7中使用google pubsub-0.37.2导入WriteToPubSub
python-2.7、google-cloud-dataflow、apache-beam、google-cloud-pubsub
我试着在读完csv和写了几个转换之后，尝试利用写到pubsbub，但是，一旦我到了需要开始使用pubsub的地步，我就无法导入。import PubsubMessagefrom apache_beam.io.gcp.pubsubimport ReadStringsFromPubSub
from apache_beam.io.gcp.pubsub
浏览 0提问于2018-08-25得票数 0
1回答
弹性搜索文件节拍到GCP PubSub
elasticsearch、google-cloud-pubsub、filebeat
我想要设置类似下面这样的环境：
我知道，那个文件节拍没有PubSub输出。实现这一目标的最简单方法是什么？我知道，Logstash可以用来从Filebeat获取数据并将其推送到PubSub。但是，在我希望从其收集日志的每台服务器上安装和配置Logstash实例似乎有点过头了。
对如何实现它有什么想法吗？
浏览 3提问于2021-02-02得票数 1
1回答
Apache写入
java、java-8、apache-beam
无法使用Apache Beam JavaSDK写入PubSub。我正在尝试使用beam从PubSub中读取数据，进行处理，然后将数据写入PubSub主题，但我无法找到如何写入PubSub的工作示例。
是否有人可以帮助适当的转换，以写入PubSub主题。.apply("Create pubsub messages", ParDo.of(new DoFn<String, PubsubMessag
浏览 0提问于2017-11-14得票数 2
2回答
如何使用Python从Google /Sub中快速阅读
python、google-cloud-pubsub
我试图从实时公共projects/pubsub-public-data/topics/taxirides-realtime流中读取消息，而且似乎我处理数据的速度不够快，或者确认存在问题。我尝试在我的家庭Windows 10 PC上运行相同的代码，从基于GCP的Ubuntu和GCP控制台终端运行相同的代码，结果相同。附加信息:在我的GCP项目中，我为公共projects/pubsub-public-data/topics&
浏览 4提问于2020-01-17得票数 2
回答已采纳
2回答
Terraform gcloud
google-cloud-platform、terraform、google-cloud-pubsub、terraform-provider-gcp
= var.project_id policy_data = data.google_iam_policy.project_pubsub_publishers.policy_dataMY-GCLOUD-PROJECTID.iam.gserviceaccount.com",
"serviceAccount:service-25157217
浏览 1提问于2021-04-15得票数 1
1回答
PubSub到BigQuery -数据流/波束模板在Python中？
google-cloud-platform、google-bigquery、google-cloud-dataflow、apache-beam、google-cloud-pubsub
是否有任何Python模板/脚本(现有的或路线图)供数据流/光束从PubSub读取和写入BigQuery？根据GCP文档，这里只有一个Java模板..。 谢谢！
浏览 88提问于2021-02-21得票数 1
回答已采纳
1回答
您是否可以使用只写权限写入GCP PubSub？
google-cloud-platform、publish-subscribe、google-cloud-pubsub
我正在用GCP创建一个数据管道。对于一些客户端，我们希望有一个只发布的模型(出于安全原因)。如果从默认的pubsub acl中删除读取权限，是否会以任何方式影响写入？我最担心的是，人们将能够发布，但他们可能无法获得任何数据，告诉他们应该重试。任何帮助都是非常感谢的。
浏览 4提问于2020-09-18得票数 0
回答已采纳
1回答
试图将JSON消息发布到pub/子主题
node.js、google-cloud-platform、terraform、google-cloud-pubsub、terraform-provider-gcp
消息：
但是我想用我的Terraform代码来发布这个JSON消息格式，并且不确定这是否可以用另外，我也尝试过使用gcloud命令，但是我发现了一个错误消息，它无法在云函数日志中读取JSON格式。gcloud pubsub topics publish MY_TOPIC --message '{"acco
浏览 16提问于2022-11-03得票数 0
回答已采纳
1回答
PubSub + GCF不可靠？
python、google-cloud-functions、google-cloud-pubsub
不确定最近发生了什么，但是我们遇到了PubSub + GCF的几个问题。有没有人有更好的经验使用HTTP函数订阅服务器或PubSub Lite？GCP</
浏览 6提问于2020-05-29得票数 0
2回答
如何在apache camel中并行处理gcp pubsub消息
apache-camel、google-cloud-pubsub
下面的代码从->源主题获取消息，并根据模板pubsub对其进行转换，然后将转换后的消息发布到目标主题。从camel gcp组件文档中，我相信maxMessagesPerPoll和concurrentConsumers参数会做job.Due，因为缺少文档，我不确定它内部是如何工作的。:{{gcp_project_id}}:{{pubsub.dead.letter.topic}}")
.useOriginalMessage().onPr
浏览 4提问于2020-04-29得票数 1
1回答
寻找使用Google Cloud Channels检测存储桶中对象何时发生更改的示例
node.js、google-cloud-storage
我们正在寻找google云存储桶上可用通道的示例实现。文档很稀疏，只给出了方法及其输入。let fileRef = admin.storage().bucket();
let channel = fileRef.createChannel("channel1", {address: "{endpoint}"}, {}, function (
浏览 3提问于2019-08-21得票数 1
回答已采纳
1回答
PubsubIO需要哪些GCP权限
google-cloud-dataflow、apache-beam、apache-beam-io
读取类的云发布/订阅订阅需要哪些GCP权限？
我有pubsub.subscriptions.consume，但这似乎还不够。
浏览 14提问于2021-03-04得票数 1
1回答
计算总管道延迟(云函数->发布/订阅->数据流-> BQ)
google-cloud-platform、google-api、google-bigquery、google-cloud-dataflow、stackdriver
我目前在GCP中有一个管道，它使用云函数摄取数据，将其存入PubSub，在数据流中进行处理，最后将其插入到BigQuery中。我正在尝试计算平均消息从云函数摄取到BigQuery需要多长时间(包括插入时间)。哪些可用指标可以帮助我计算整体流水线延迟？如果管道的
浏览 2提问于2019-11-21得票数 0
1回答
如何用Config连接器在GKE上设置StorageNotification
kubernetes、google-cloud-platform、google-kubernetes-engine、gcp-config-connector
我正在为使用StorageNotification，但我一直收到以下错误(从kubectl describe获取)
metadata: namespace: ${GCP_PROJECT_ID} app: something-processingmetadata: namespace:
浏览 11提问于2020-01-28得票数 0
2回答
部署到GKE时应用程序启动失败，显示'GcpContextAutoConfiguration‘已被排除
google-cloud-platform、google-cloud-pubsub、spring-cloud-gcp
我有一个应用程序，当我部署到GCP时，它无法启动，但它在我的本地docker上运行得很好。我不知道如何解决这个问题，我需要在我的属性文件中包含任何东西吗？ ***************************
Parameter 1 of constructor in org.springframework.cloud.gcp.autoconfigure.pubsub.GcpPubSubAutoConfiguration我已经包含了如下属性 spring.cloud.gcp</em
浏览 89提问于2021-07-10得票数 0
2回答
在spring引导2.6.1中使用spring gcp-pub-子流绑定器时，内部方法没有发现错误
java、spring-boot、google-cloud-pubsub、spring-cloud-stream
我正试图在我的spring引导项目中集成spring云- gcp - pub -子流绑定器，以使用gcp发布子主题中的事件，并在运行该项目时获得以下错误。the following location:
jar:file:/Users/pranay.garg/.m2/repository/com/google/cloud/spring-cloud-gcp-pubsub-stream-binder/3.3.0/spri
浏览 2提问于2022-08-21得票数 2
回答已采纳
3回答
在数据流管道中写入BigQuery时捕获失败
python、google-bigquery、google-cloud-dataflow、google-cloud-pubsub
我有一个从PubSub主题读取事件数据的数据流管道。当收到消息时，我执行一个转换步骤，将事件数据与我想要的BigQuery模式相匹配。但是，如果创建的输入不符合模式，则会遇到问题。以下是我进一步澄清的简化程序： # Read messages from PubSubevent = (pipeline
| 'Read from PubSub' >>
浏览 4提问于2018-05-08得票数 4
2回答
Dataflow应该使用Pub/Sub主题或订阅中的事件吗？
google-cloud-platform、google-bigquery、google-cloud-pubsub、dataflow
我希望使用Dataflow将事件从PubSub流流到BigQuery。我看到在GCP中有两个模板可以实现这一点:一个是Dataflow从主题中读取消息，另一个是订阅。
浏览 0提问于2019-05-24得票数 2
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储活动推荐
腾讯云开发者
