开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

Pulsar:在persistent://public/default/test上订阅时检查/获取分区元数据时出错

Pulsar是一个开源的分布式消息系统，由Apache软件基金会开发和维护。它具有高可扩展性、高性能和可靠性的特点，适用于构建大规模的实时数据处理和消息传递应用程序。

在订阅persistent://public/default/test上的Pulsar主题时，如果在检查或获取分区元数据时出现错误，可能有以下几种可能的原因和解决方法：

网络连接问题：首先，检查网络连接是否正常。确保订阅者和Pulsar集群之间的网络连接稳定，并且没有任何防火墙或网络配置问题。
权限问题：检查订阅者是否具有足够的权限来访问persistent://public/default/test主题。确保订阅者具有正确的身份验证凭据，并且已被授权访问该主题。
主题不存在：确认persistent://public/default/test主题是否存在。如果主题不存在，可以尝试创建该主题并重新订阅。
Pulsar集群故障：如果以上步骤都没有解决问题，可能是Pulsar集群本身出现了故障。在这种情况下，建议联系Pulsar社区或相关技术支持团队，以获取进一步的帮助和支持。

对于Pulsar的更多信息和详细介绍，您可以参考腾讯云的相关产品Pulsar消息队列服务（TDMQ）：https://cloud.tencent.com/product/tdmq。TDMQ是腾讯云提供的一种高性能、高可靠性的消息队列服务，基于Pulsar技术构建，可满足大规模实时数据处理和消息传递的需求。

页面内容是否对你有帮助？

有帮助

没帮助

相关·内容

究极缝合怪 | Pulsar核心概念和特性解读

存储 Pulsar的多层架构影响到了其存储数据的方式。Pulsar将topic 分区划分为分片，然后将这些分片存储在 Apache BookKeeper的存储节点上，以提高性能、可伸缩性和可用性。...，它默认指定订阅了一个主题，例如： // 通过明确指定的topic列表 persistent://public/default/my-topic // 当使用正则匹配订阅多个主题的时候，所有的主题必须是在同一个命名空间里面的...persistent://public/default/finance-.* 当订阅多个主题的时候，Pulsar 客户端将自动调用 Pulsar API找到符合匹配规则的主题列表，然后订阅这些主题。...当使用非持久topic分发时，杀掉Pulsar的broker或者关闭订阅者，此topic（ non-persistent)上所有的瞬时消息都会丢失，意味着客户端可能会遇到消息缺失。...订阅检查机制会从DelayedDeliveryTracker获取到超时的消息，并交付给消费者。 Broker 默认情况下启用延迟消息传递。

1.8K2 0

Pulsar 介绍与部署

中的 broker 是无状态的，不存储数据，真正的数据存储在 Bookeeper 上。...在 Kafka 中，分区只能存储在单个节点上并复制到其他节点，其容量受最小节点容量的限制。当对集群进行扩容时或者发送副本故障时，会触发数据的拷贝，这将耗费很长的时间。...brokerServicePort=6650 # broker web服务端口 webServicePort=8080 # pulsar 集群名字，和前面zookeeper初始化集群元数据时配置的一样...persistent://public/default/pulsar-test \ -n 100 \ -s "consumer-test" \ -t "Exclusive" 如果不指定...produce \ persistent://public/default/pulsar-test \ -n 1 \ -m "Hello Pulsar" 在 consumer 终端可以看到成功消费到了消息

2.7K3 0

新手教学 | Apache InLong 使用 Apache Pulsar 创建数据入库

Broker 无状态，便于快速上、下线，更加适合于云原生场景分区存储不受限于单个节点存储容量分区数据分布均匀准备条件安装Apache Pulsar，版本2.6+ 安装Apache Hive，版本...:6650# Default tenant of Pulsarpulsar.defaultTenant=public 创建数据接入配置数据流 Group 信息在创建数据接入时，数据流 Group...我们可以在 Pulsar 集群使用命令行工具检查 Topic 是否创建成功：配置文件 Agent 在配置文件 Agent 时，需要根据数据接入创建时指定的目录下创建文件： touch /data/...test_file.txt; 按照创建数据流时的数据源格式，向文件中写入数据（可以按格式写入更多数据）： echo -e "1|test\n2|test\n" >> /data/test_file.txt...文件夹中是否正确写入该数据流对应的Topic 信息： b_test_group/test_stream=persistent://public/b_test_group/test_stream 检查

1.2K2 0

请注意，你的 Pulsar 集群可能有删除数据的风险

之后我们查询了 topic 的 internal state 发现元数据中会少一个分区。紧急恢复我们尝试将这个分区数恢复后，发现这个 topic 就可以正常连接了。...于是再挑选了几个异常的 topic 发现都是同样的问题，恢复分区数之后也可以正常连接了。所以我写了一个工具遍历了所有的 topic，检测分区数是否正常，不正常时便修复。...此时具体的原因已经很明显了，元数据这些自然是没问题；根本原因是 topic 被删除了，但被删除的 topic 只是某个分区，所以我们在查询 internalState 时才发发现少一个 topic。...在 thread3 读取 topicPolicy 进行判断时，thread2 可能还没有把数据准备好，所以就导致了 topic 被删除。...总结删除的这些 topic 的同时它的订阅者也被删除了，所以我们还需要修复订阅者： String topicName = "persistent://tenant/ns/topicName"; pulsarTopicService.createSubscription

1211 0

StreamNative 宣布开源 Function Mesh：简化云上的复杂流任务

Function 的元数据存储在 Pulsar 中，但 function 的运行状态由 Kubernetes 管理。...现有的实现使用 Pulsar topic 存储 function 元数据。如果存储 function 元数据的 topic 临时不可用，可能会造成 broker 故障循环。...4流流是不可更改、仅追加的分区序列，用于存储事件的历史操作。例如，可以通过流事件为金融交易建模，如“甲向乙发送 100 元”，然后“乙向丙发送 50 元”。...11如何使用 Function Mesh 运行 function Function Mesh 不会影响在云上运行的 Pulsar Functions 的开发流程，但提交 function 时应使用 yaml...: "mesh-test-pulsar" java: jar: pulsar-functions-api-examples.jar jarLocation: public/default/test 第一个

6232 0

在 TKE 使用 KEDA 实现基于 Apache Pulsar 消息队列的弹性伸缩

获取 Pulsar API 调用地址在 Pulsar 集群管理页面找到需要使用的 Pulsar 集群，点击【接入地址】可获取 Pulsar 的 URL，通常使用 VPC 内网接入地址（解析出来是 169...获取 Pulsar Topic 在 Pulsar Topic 管理页面，复制 Topic 名称。...然后复制密钥，即 Pulsar 客户端所需的 JWT Token：获取订阅名称在 Topic 管理的的消费者页面，根据需要，查看已有的订阅，或者新建订阅，记录下需要使用的订阅名称：部署生产者准备生产者配置...:5005 # 替换 API 调用地址 TOPIC: persistent://pulsar-xxxxxxxxxxxx/test-ns/test-topic # 替换 Topic TOKEN:...: persistent://pulsar-xxxxxxxxxxxx/test/persist-topic # 替换 Topic subscription: my-sub # 替换订阅名称

1371 0

Pulsar与Rocketmq、Kafka、Inlong-TubeMQ，谁才是消息中间件的王者？

Pulsar支持分区和非分区topic。但是，在业务侧视角，很难看出是否是分区topic，需要查看元数据或者日志信息。...不会出现因为某些topic或着某些topic的部分分区，在数据大规模倾斜时，导致部分存储机器磁盘使用率过高的问题。...因此，我们在使用的时候，需要尽量的将位点连续的消息，连续的消费和确认，避免出现大量的确认空洞。四、元数据存储 Pulsar目前依赖Zookeeper做元数据的存储。...但是，目前元数据、选主这块还是需要依赖Zookeeper。 InLong-TubeMQ使用集中式的方式管理元数据，broker通过api从后台服务器获取元数据，对zk有比较弱的依赖。...Pulsar在元数据存储上，目前还是需要依赖Zookeeper，不单单是broker集群，bookkeeper集群也对Zookeeper有很强的依赖性。

4802 0

Apache Pulsar简介

Topic名称的URL类似如下的结构： {persistent|non-persistent}://tenant/namespace/topic persistent|non-persistent表示数据是否持久化...Namespace是Pulsar中的操作单元，包括Topic是配置在Namespace级别的，包括多地域复制，消息过期策略等都是配置在Namespace上的。...：Failover模式，同一时刻只有一个有效的Consumer，其余的Consumer作为备用节点，在Master Consumer不可用后进行替代（看起来适用于数据量小，且解决单点故障的场景）分区...上图是Pulsar Cluster的架构：采用ZooKeeper存储元数据，集群配置，作为coordination local zk负责Pulsar Cluster内部的配置等 global zk则用于...当消息被写入Pulsar时，首先消息被持久化在local cluster，之后异步的发送到其他cluster。在没有链接问题的情况下，通常复制的latency相近于网络的RTT。

2.1K2 0

pulsar总览

与传统的消息系统相比，Apache Pulsar 在架构设计上采用了计算与存储分离的模式，Pub/Sub 相关的计算逻辑在 Broker 上完成，数据存储在 Apache BookKeeper 的 Bookie...分片存储除了存储、计算解耦分离的设计之外，Apache Pulsar 在存储设计上也不同于传统 MQ 的分区数据本地存储的模式，采用的是分片存储的模式。...支持读写分离，可以在滞后消费场景导致磁盘IO上升时，保证数据写入的不受影响支持全副本读取，可以充分利用存储副本的数据读取能力多种消费模型 Apache Pulsar 提供了多种订阅方式来消费消息，...多种 ack 模型在 Pulsar 中，每个订阅中都使用一个专门的数据结构游标（Cursor）来跟踪订阅中的每条消息的确认（ACK）状态。每当消费者在分区上确认消息时，游标都会更新。...Pulsar支持分区和非分区topic。但是，在业务侧视角，很难看出是否是分区topic，需要查看元数据或者日志信息。

8744 0

号称下一代消息中间件！来看看它有多牛逼

在 Pulsar 集群中，一个或多个代理处理和负载均衡来自生产者的传入消息，将消息分派给消费者，与 Pulsar 配置存储通信以处理各种协调任务，将消息存储在 BookKeeper 实例（又名 bookies...注：对比是针对 1 个分区的 1 个主题，其中包含 100 字节消息，Pulsar 每秒可发送 220,000+ 条消息。..."; String TOPIC = "persistent://public/default/mq-topic-1"; String subscription = "sub-1"; PulsarClient...= "persistent://public/default/mq-topic-1" SUBSCRIPTION = "sub-1" client = Client(SERVICE_URL) consumer...topic = "persistent://public/defaultmq-topic-1"; std::string subscription = "sub-1"; Client client(

4653 0

后起之秀Pulsar VS. 传统强者Kafka？谁更强

它还提高了可靠性，几乎不可能丢失数据。另外，在读取数据时可以直连 BookKeeper，且不影响实时摄取。...、可插拔的身份验证等特性；•快速重新平衡：分区被分为易于重新平衡的分片；•服务器端重复数据删除和无效字段：无需在客户端中执行此操作，也可以在压缩期间删除重复数据；•内置 Schema registry（...•分片和数据分区在服务器端透明进行，客户端不需要了解分片与分区数据。 ? Pulsar 特性列表: [5] Pulsar 入门 Pulsar 入门非常容易。使用前提是安装 JDK。...-tenant public \--namespace default \--name route-fruit-veg \--inputs persistent://public/default/basket-itemsPulsar...；•更大的灵活性：3 种订阅类型（独占，共享和故障转移），用户可以在一个订阅上管理多个 topic；•持久性选项：非持久（快速）、持久、压缩（每个消息仅最后一个键），用户可以选择交付保证。

1.8K1 0

在裸机上部署Pulsar集群顶

您只需要写入该数据一次。您可以使用pulsar CLI工具的initialize-cluster-metadata命令初始化该元数据。此命令可以在ZooKeeper集群中的任何机器上运行。...://public/default/test \ -n 1 \ -m "Hello Pulsar" 如果指定的集群名称不是pulsar-cluster-1，则可能需要在主题中使用不同的集群名称...此外，您可以在不同的终端订阅Pulsar主题，然后发布消息，如下: $ bin/pulsar-client consume \ persistent://public/default/test \...\ --inputs persistent://public/default/exclamation-input \ --output persistent://public/default/...exclamation-output \ --tenant public \ --namespace default \ --name exclamation 通过triggering检查该函数是否按预期运行

1.7K2 0

CTO问我Pulsar到底能不能取代Kafka

如果某个broker宕机了，这个broker上的leader分区失效，需要在其他broker上重新进行选举。...Consumer通过Subscription获取消息，同一Topic的Subscription可以获取到Topic数据的完整拷贝，这样Subscription为每一个Consumer分配一个Cursor...如下图： Pulsar的消费模型有4种：独占模式(Exclusive):同一个topic只能有一个消费者订阅，如果多个消费者订阅，就会出错。...同一个namespace上设置的配置策略适用于在namespace中创建的所有 topic。...替换broker Pulsar的broker节点是无状态的，替换时不用考虑数据丢失。

6881 0

kubernetes helm安装pulsar集群

准备工作在开始之前，您需要满足以下先决条件：安装Kubernetes集群。您可以使用Minikube或Kubeadm在本地或云上安装一个Kubernetes集群。安装Helm客户端。...接下来，您可以使用以下命令向Pulsar代理发送一个消息： curl -X POST -d 'hello world' http://localhost:8080/v2/persistent/public...您可以使用以下命令从Pulsar代理中读取消息： curl http://localhost:8080/v2/persistent/public/default/my-topic/0/1 此命令将从名为...my-topic的Pulsar主题的第一个分区中读取一条消息。...以下是一些示例用例：发布和订阅消息。您可以使用Pulsar的发布-订阅模型，在应用程序之间可靠地传递消息。Pulsar支持多种协议和语言，例如Java、Python和Go。存储和检索数据。

1.2K0 0

颠覆Kafka的统治，新一代云原生消息系统Pulsar震撼来袭！

ZooKeeper：存储Pulsar、BookKeeper的元数据，集群配置等信息，负责集群间的协调(例如：Topic与Broker的关系)、服务发现等。...从Pulsar的架构图上可以看出，Pulsar在架构设计上采用了计算与存储分离的模式，发布/订阅相关的计算逻辑在Broker上完成，而数据的持久化存储交由BookKeeper去实现。...可以通过两种方式进行订阅：正则表达式，例如： persistent://public/default/finance-.* 明确指定Topic列表。...对于Pulsar的每个Topic（分区），其数据并不会固定的分配在某个 Bookie上，具体的逻辑实现我们在Bundle一节已经讨论过，而Topic的物理存储，实际上是通过BookKeeper组件来实现的...Pulsar在物理上采用分片存储的模式，存储粒度比分区更细化、存储负载更均衡。如图，一个分区Topic-Partition2的数据由多个分片组成。

6621 0

【12图】你管这破玩意叫Pulsar

Broker的topic拥有多个逻辑分区，同时每个分区又有多个segment，writer写数据时，首先会选择Bookies，比如图中的segment1，选择了Bookie1、Bookie2、Bookie4...1.3 扩展和扩容在遇到双十一等大流量的场景时，必须增加consumer，这时因为Broker不存储任何数据，可以方便的增加broker。...对于BookKeeper，因为保存了多份副本，并且这些副本都是对等的，没有主从关系，所以当一个节点宕机后，不用立即恢复，后台有一个线程会检查宕机节点的数据备份进行恢复。...如下图： 7 Zookeeper Pulsar提供了System topic用来保存策略之类的元数据，尽量减少对Zookeeper的依赖。...Zookeeper也保存一些策略相关的元数据，还保存了broker和BookKeeper集群相关的配置元数据，比如服务发现相关的元数据。

6195 1

Apache Pulsar 技术系列 - Pulsar事务实现原理

前言在事务消息未出现前，Pulsar中支持的最高等级的消息传递保证，是通过Broker的消息去重机制，来保证Producer在单个分区上的消息只精确保存一次。.../default/source-topic";String sinkTopic = "public/default/sink-topic";//创建生产者和消费者Consumer sourceConsumer...Topic有可能是分区主题，消息会被发往不同的Broker节点，为了让TC知道消息会发送到哪些节点（后续事务提交、回滚时TC需要通知这些节点），Producer在发送消息之前，会先往TC上注册分区信息。...这一步和普通的消息发送没有太大的区别，不过消息需要先经过每个Broker上的RM，Pulsar中RM被定义为TopicTransactionBuffer，RM里面会记录一些元数据，最后消息还是会被写入原始的...当事务结束时，TC则以TCID为key，找到所有的元数据，通过元数据得知需要通知哪些Broker上的RM，最后发起广播，通知这些Broker上的RM，事务需要提交/回滚。

1.8K3 0

下一代消息队列pulsar到底是什么？

ZK: 和kafka一样pulsar也是使用zk保存一些元数据，比如配置管理,topic分配，租户等等。...发送负载均衡在消息队列中通常会将topic进行水平扩展，在pulsar和kafka中叫做partition,在rocketmq中叫做queue，本质上都是分区，我们可以将不同分区落在不同的broker...Step1: 我们所有的信息分区映射信息在zk和broker的缓存中都有进行存储。 Step2: 我们通过查询broker，可以获取到分区和broker的关系，并且定时更新。...MetaData Storage，元数据存储，是用于存储bookie相关的元数据，比如bookie上有哪些ledger，bookkeeper目前使用的是zk存储，所以在部署bookkeeper前，要先有...消息获取模式不论是在kafka还是在rocketmq中我们都是client定时轮训我们的broker获取消息，这种模式叫做长轮训（Long-Polling）模式。

7.7K6 1

pulsar学习笔记1：helloworld

收消息命令如下： bin/pulsar-client consume my-topic -s "first-subscription" 表示从“my-topic”这个topic上消费消息，并且指定订阅名称为...注：测试时，可以单独开2个terminal，先在其中1个运行consumer，然后在另1个运行produce 附：如果希望写java代码实现收发消息，可参考https://github.com/yjmyzz.../default/exclamation-input \ --output persistent://public/default/exclamation-output \ --name exclamation...default 5.3 启动消费者，查看实时处理结果　　 bin/pulsar-client consume persistent://public/default/exclamation-output...persistent://public/default/exclamation-input \ --num-produce 1 \ --messages "Hello world" 参考文章： http

1.1K3 0

新浪微博从 Kafka 到 Pulsar 的演变

KoP 协议可以落地 Pulsar 并原生支持新浪现有的 Kafka 客户端，也可以解决新浪 Kafka 团队在 Kafka 上的运维痛点。...这时客户端向 broker1 发送元数据请求失败，又因为自身没有 broker2 的处理逻辑，所以元数据就无法路由到 broker2 上，出现元数据超时问题。...Pulsar Cluster 处理删除请求时，会发送到所有分区的 owner broker 上，后者负责删除 topic 信息并移除 topic。...问题发生原因是 Group Coordinator 里面有 Group 元数据信息记录了消费分区，客户端在获取分区时 commit offset 会记录 Lag 值，Kafka 当前生产的消息位移。...命令工具不断重复尝试获取元数据直到 Request Timeout 超时并暴露超时。

3961 0

点击加载更多

扫码

添加站长进交流群

领取专属 10元无门槛券

手把手带您无忧上云

扫码加入开发者社群

相关资讯

热门标签

活动推荐

运营活动

活动名称

广告关闭