RocketMQ Topic创建机制分为两种：一种自动创建，一种手动创建。可以通过设置broker的配置文件来禁用或者允许自动创建。默认是开启的允许自动创建
我还记得第一次使用rocketmq的时候，需要去控制台预先创建topic，我当时就想为什么要这么设计，于是我决定撸一波源码，带大家从根源上吃透rocketmq topic的创建机制。
使用kafka-topics --delete命令删除topic时并没有真正的删除，而是把topic标记为：“marked for deletion”，导致重新创建相同名称的Topic时报错“already exists”。
https://files.pythonhosted.org/packages/7c/8c/e13a82fa9b0394c0d58248196d7d51d7274407cdebc1df36b76034ab990d/XMind-1.2.0.tar.gz
使用kafka-topics –delete命令删除topic时并没有真正的删除，而是把topic标记为：“marked for deletion”，导致重新创建相同名称的Topic时报错“already exists”。
需要注意的是–zookeeper后面接的是kafka的zk配置, 假如你配置的是localhost:2181/kafka 带命名空间的这种,不要漏掉了
在撸完RocketMQ Topic的创建机制后，我似乎还有一些意犹未尽的感觉，总觉得还缺一些什么。于是我就趁热打铁，提出以下两点我自己的一些思考。
我们都知道 Kafka 的 topic 资源比较“贵”，所以一般会给项目 topic 权限限制，按需申请。Milvus 会在建新表时自动申请 kafka topic 资源，这时候自动申请不到怎么办？手动配置 topic 要符合什么规范才能被 Milvus 使用？
RocketMQ在发送消息的时候，提示：MQClientException: No route info of this topic xxx
在 TDMQ Pulsar 版控制台中，订阅代表一个具体的消费者以及其对某个 Topic 的订阅关系。当一个消费者订阅了某个 Topic 之后，则该 Topic 下的消息均可以被其消费。一个订阅可以订阅多个 Topic ，例如用户在一个 Topic 下创建了一个订阅后，其不仅会订阅当前的 Topic，还会订阅系统自动创建的重试队列 Topic。
我们以前讲过 Service Cloud 零基础（三）Knowledge浅谈，我们日常可以看见很多得文章或者帖子，我们可以将其通过data category / group进行管理。但是一个系统中得文章可能成千上万或者百万计，常用得文章可能会大打折扣，这个时候我们应该如何更好得对文章进行管理分类呢？这里就引入了Topic得概念，我们使用Topic来组织社区得内容或者突出得重点讨论得东西。不要觉得 Topic有多神气，实际得冲浪场景中随处可见。我们在知乎，在微博，在脉脉上看文章都会有通过 主题/ 话题进行展示，点进去有很多相关文章。我们只需要看到我们需要的主题，然后点进去找到我们感兴趣需要得文章即可。那Salesforce 拥有哪几类得主题类型，如何进行主题管理呢，下面的内容主要针对这两点进行阐述。
# 启动 nohup bin/kafka-server-start.sh -daemon config/server.properties & # 连接数修改（若无，添加） queued.max.requests=1000 //创建topic 创建一个"test"的topic，一个分区一个副本 bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test
2处和3处的代码被称为查询，因为它们向数据库查询特定的信息。在自己的项目中编 写这样的查询时，先在Django shell中进行尝试大有裨益。相比于编写视图和模板，再在 浏览器中检查结果，在shell中执行代码可更快地获得反馈。
回顾一下kafka相关的概念： 📷 Kafka Broker新建Topic的大致流程 Kafka Topic Client发出创建Topic请求，到Zookeeper两个配置路径：/config/topics/[topic]和/brokers/topics/[topic] KafkaController 在 ZooKeeper 的 /brokers/topics 节点上注册 watcher，当 topic 被创建，则 TopicChangeListener执行监听。 KafkaController读取/br
在平时对kafka的运维工作中，我们经常会由于某些原因去删除一个topic，比如这个topic是测试用的，生产环境中需要删除。或者我想扩容topic的同时，这个topic中的数据我不想要了，这时候删除topic，增加broker，再重新创建topic就会是比较简单的方法。但是kafka删除topic时，有很多关键的点必须清楚，否则在删除topic的时候就会出现各种各样的问题。
org.apache.kafka.common.errors.UnknownTopicOrPartitionException: This server does not host this topic-partition
接着上节继续学习，本章将建立用户账户 Web应用程序的核心是让任何用户都能够注册账户并能够使用它，不管用户身处何方。在本章中，你将创建一些表单，让用户能够添加主题和条目，以及编辑既有的条目。你还将学习Django如何防范对基于表单的网页发起的常见攻击，这让你无需花太多时间考虑确保应用程序安全的问题。 一 让用户能够输入数据 建立用于创建用户账户的身份验证系统之前，我们先来添加几个页面，让用户能够输入数据。我们将让用户能够添加新主题、添加新条目以及编辑既有条目。 1.1 用于添加主题的表单 让用户输入并提交信
事件驱动架构是计算机科学中一种高度可扩展的范例。它允许我们可以多方系统异步处理事件。
接着上节的继续学习，现在要显示所有主题的页面 有了高效的网页创建方法，就能专注于另外两个网页了：显示全部主题的网页以及显示特定主题中条目的网页。所有主题页面显示用户创建的所有主题，它是第一个需要使用数据的网页。 一 显示所有主题的页面 1 URL模式 #定义learning_logs的URL模式 from django.conf.urls import url from . import views app_name='learning_logs' urlpatterns=[ #主页
Client可以从任何一台broker上获取集群完整的元数据信息，这就需要controller在集群元数据信息发生变更后通知每一个broker。当有分区信息变更时，controller会将变更后的信息封装进UpdateMetadataRequest请求中，然后发送给集群中的每个Broker。
我使用 docker-compose 来创建，新建文件夹并在文件夹下创建一个 “docker-compose.yml”，这个文件描述了具体配置如下：
配置topic级别参数时，相同(参数)属性topic级别会覆盖全局的，否则默认为全局配置属性值。
很多网友会问，为什么明明集群中有多台Broker服务器，autoCreateTopicEnable设置为true，表示开启Topic自动创建，但新创建的Topic的路由信息只包含在其中一台Broker服务器上，这是为什么呢？
# 启动kafka服务，三台主机分别输入此指令： kafka-server-start.sh $KAFKA_HOME/config/server.properties & //以后台的方式启动 nohup kafka-server-start.sh $KAFKA_HOME/config/server.properties & //查看topic名 kafka-topics.sh --list --zookeeper hadoop-001:2181 //创建topic名 kafka-topics.sh
Producer即生产者，向Kafka集群发送消息，在发送消息之前，会对消息进行分类，即Topic， Topic即主题，通过对消息指定主题可以将消息分类，消费者可以只关注自己需要的Topic中的消息 Consumer即消费者，消费者通过与kafka集群建立长连接的方式，不断地从集群中拉取消息，然后可以对这些消息进行处理。
Node间进行通讯，其中发送消息的一方，ROS将其定义为 Publisher(发布者) ，将接收消息的一方定义为 Subscriber(订阅者) 。
前面的章节，我们已经把RocketMQ的环境搭建起来了，是一个两主两从的异步集群。接下来，我们就看看怎么去使用RocketMQ，在使用之前，先要在NameServer中创建Topic，我们知道RocketMQ是基于Topic的消息队列，在生产者发送消息的时候，要指定消息的Topic，这个Topic的路由规则是怎样的，这些都要在NameServer中去创建。
之前有个 Kafka 集群的每个节点的挂载磁盘多达 20+ 个，平均每个磁盘约 1T，每个节点的分区日志被平均分配到这些磁盘中，但由于每个分区的数据不一致，而集群节点 log.retention.bytes 这个参数的默认值是 -1，也就是没有任何限制，因此 Kafka 的日志删除日志依赖 log.retention.hours 参数来删除，因此会出现日志未过期，磁盘写满的情况。
在这个类里首先导入一个头文件和你建好的model类 （实现收藏本质是存model类）
一般情况下，我们都习惯使用kafka-topics.sh脚本来管理主题，但有些时候我们希望将主题管理类的功能集成到公司内部的系统中，打造集管理、监控、运维、告警为一体的生态平台，那么就需要以程序调用API的方式去实现。
创建一个topic（主题）。Kafka中所有的消息都是保存在主题中，要生产消息到Kafka，首先必须要有一个确定的主题。
PS: 当某个Topic的分区少于指定的分区数时候,他会抛出异常;但是不会影响其他Topic正常进行;
在Kafka集群资源使用已超出系统配置的资源时，需要通过扩容Kafka节点来实现Kafka集群的资源扩容。新增的Kafka节点，只有在创建新的Topic才会参与工作，对于之前其它Broker节点上的分区是不会自动均衡的，不能达到负载的效果。这时需要在Broker之间重新分配分区，本篇文章Fayson主要介绍如何重新分配Topic的partition。
前短时间在腾讯云上买了一个linux 服务器，决心把kafka这一模快的知识补充起来啦。所以就搞起来。
DWD层数据主要存储干净的明细数据，这里针对ODS层“KAFKA-ODS-TOPIC”数据编写代码进行清洗写入对应的Kafka topic和Iceberg-DWD层中。代码功能中有以下几点重要方面：
和 RabbitMQ 类似，Kafka（全称 Apache Kafka）是一个分布式发布-订阅消息系统。
今天这篇文章,给大家分享一下最近看kafka源码时候,困扰我几天的疑惑,供大家一起思考讨论,确定一下它是不是一个 Bug 欢迎留言一起探讨！
默认Kafka会使用ZooKeeper默认的/路径，这样有关Kafka的ZooKeeper配置就会散落在根路径下面，如果 你有其他的应用也在使用ZooKeeper集群，查看ZooKeeper中数据可能会不直观，所以强烈建议指定一个chroot路径，直接在 zookeeper.connect配置项中指定。
1.1 Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者规模的网站中的所有动作流数据。
最近小编在学习消息队列,然后选中了ActiveMQ,来进行学习.于是探索了好久,来整理一下自己的学习心得!大家一起学习,希望对你有用.我把一些我自己的理解写在注释里了注意看!!
支持正则表达式匹配Topic来进行删除,只需要将topic 用双引号包裹起来 例如: 删除以create_topic_byhand_zk为开头的topic;
今天分享一下kafka的主题(topic)，分区(partition)和副本(replication)，主题是Kafka中很重要的部分，消息的生产和消费都要以主题为基础，一个主题可以对应多个分区，一个分区属于某个主题，一个分区又可以对应多个副本，副本分为leader和follower。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM
