如何永久删除Kafka的Topic

温馨提示:要看高清无码套图,请使用手机打开并单击图片放大查看。

1.问题描述

使用kafka-topics --delete命令删除topic时并没有真正的删除,而是把topic标记为:“marked for deletion”,导致重新创建相同名称的Topic时报错“already exists”。

2.问题复现

1.登录Kafka集群所在的服务器,创建一个test的topic

| root@cdh1 ~# kafka-topics --create --zookeeper ip-172-31-1-175.ap-southeast-1.compute.internal:2181 --replication-factor 1 --partitions 1 --topic test |

|:----|

2.查看新创建的topic

| root@cdh1 ~# kafka-topics --list --zookeeper ip-172-31-1-175.ap-southeast-1.compute.internal:2181 |

|:----|

3.通过如下命令删除新建的topic

| root@cdh1 ~# kafka-topics --delete --zookeeper ip-172-31-1-175.ap-southeast-1.compute.internal:2181 --topic test |

|:----|

此处显示“Topic test is marked for deletion”

4.尝试重新创建一个test的Topic

| root@cdh1 ~# kafka-topics --create --zookeeper ip-172-31-1-175.ap-southeast-1.compute.internal:2181 --replication-factor 1 --partitions 1 --topic test |

|:----|

提示该Topic已存在,说明在第3步操作的删除并没有真正的将Topic删除。

3.问题原因

默认情况下Kafka是禁用了删除Topic的操作,所以在执行Topic删除的时候只是将删除的Topic标记为“marked for deletion”状态。可以通过修改Kafka服务的配置参数启用。

4.解决方法

4.1方法1

在kafka服务配置delete.topic.enable=false的情况下,如果需要永久删除topic则需要做如下操作:

  • 通过kafka命令删除相应的topic
  • 在zookeeper中删除相应的topic
  • 在topic所在的broker节点上删除topic的log数据

操作如下:

1.查看topic的描述信息,命令如下

| kafka-topics --describe --zookeeper ip-172-31-1-175.ap-southeast-1.compute.internal:2181 --topic test |

|:----|

上图标注部分为topic对应的数据存放节点

2.通过kafka命令删除,命令如下:

| kafka-topics --delete --zookeeper ip-172-31-1-175.ap-southeast-1.compute.internal:2181 --topic test |

|:----|

3.通过zookeeper客户端删除topic,命令如下

| zookeeper-client -server ip-172-31-1-175.ap-southeast-1.compute.internal:2181ls /brokers/topicsrmr /brokers/topics/test |

|:----|

注:标红部分为topic的名称

4.登录到第1步中列出的对应节点的topic的log数据目录,此处我们Kafka的log.dirs目录配置为/var/local/kakfa,执行命令

| ec2-user@ip-172-31-9-186 data$ sudo rm -rf test-0/ |

|:----|

5.验证是否生效

创建一个名称为“test”的Topic,可以正常创建

注意:此处将topic为test的日志目录(/var/local/kafka/test-0)删除后,新创建的topic为test的日志目录不存在,重启Kafka服务后正常,目录能正常显示。

4.2方法2

在Kafka服务已配置delete.topic.enable=true的情况下,永久删除topic需要做如下操作:

  • 使用kafka命令删除topic

操作如下:

  1. 删除前数据查看:

| kafka-topics --describe --zookeeper ip-172-31-1-175.ap-southeast-1.compute.internal:2181 --topic test |

|:----|

各个数据节点的信息:

Zookeeper信息:

2.通过kafka命令删除需要删除的topic,命令如下

| kafka-topics --delete --zookeeper ip-172-31-1-175.ap-southeast-1.compute.internal:2181 --topic test |

|:----|

3.查看Zookeeper客户端topic信息

| zk: ip-172-31-1-175.ap-southeast-1.compute.internal:2181(CONNECTED) 9 ls /brokers/topics |

|:----|

4.查看brober节点上topic的日志数据

5.删除后成功后,验证是否能创建名称为test的Topic

注意:

如果Kafka服务配置了delete.topic.enable=true,直接通过命令行删除,未能删除Topic则可以通过zookeeper-client来进行删除。

如果Kafka服务未配置delete.topic.enable=true,直接通过delete命令删除topic,删除时只会将topic标记为“marked for deletion”,然后通过zookeeper-client进行删除是不会删除topic的data.log数据目录的,需要将相应的broker服务器上的data.log目录下相应的topic目录删除,data.log目录获取,可以通过CM界面查看:

建议:Kafka服务开启delete.topic.enable=true,开启方式如下:

开启后需要重启Kafka服务。

醉酒鞭名马,少年多浮夸! 岭南浣溪沙,呕吐酒肆下!挚友不肯放,数据玩的花! 温馨提示:要看高清无码套图,请使用手机打开并单击图片放大查看。

欢迎关注Hadoop实操,第一时间,分享更多Hadoop干货,喜欢请关注分享。

原创文章,欢迎转载,转载请注明:转载自微信公众号Hadoop实操

本文分享自微信公众号 - Hadoop实操(gh_c4c535955d0f)

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2017-09-11

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

编辑于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏Spark学习技巧

大数据基础系列之spark的监控体系介绍

目前有好几种监控spark应用程序的工具:web UIs,指标系统和外部监控仪。 一,web界面 1,界面的基本介绍 每一个Spark应用程序都会启动一个spa...

55350
来自专栏容器云生态

怎样快速将网络repo源中的软件包缓存到本地

首先使用wget命令下载网络源:     比如下载CDH的源:wget -c http://archive.cloudera.com/cm4/redhat/6/...

33660
来自专栏静下来

php提示Notice:undefined index的解决方法

今天一个朋友的网站被他的服务商关站了,说是网站每天报错日志能有30M。想想一个文本,就一些提示就能有30M的大小,那错误是蛮多的了。 因为他用的虚拟空间,他这个...

43350
来自专栏IT技术精选文摘

Nginx入门指南

NGINX 是一款来自俄罗斯的HTTP 和反向代理(reverse proxy)服务器、邮件服务器,以及通用的 TCP/UDP 代理服务器,以其高性能被业界广泛...

233100
来自专栏Hadoop实操

如何在Windows Server2008搭建DNS服务并配置泛域名解析

有了DNS服务,对于一个CDH集群的所有节点的hostname和ip,您就再也不需要手动维护各个节点的hosts文件。另外DNS服务对于在CDH上安装或集成Ke...

61750
来自专栏耕耘实录

Ansible的安装与使用初探

受控端:192.168.237.202、192.168.237.203(一共2台)

8940
来自专栏Hadoop实操

如何在CDH5.15中安装CDSW1.4

48160
来自专栏Linyb极客之路

消息中间件之RcoketMQ单机版安装

一、RocketMQ安装环境 64bit linux 64bit jdk1.8+ maven 3.2.x git(不一定需要) 本文安装环境为centos7....

42890
来自专栏全栈架构

Centos7离线安装Cloudera Manager 5.14.1

如果是新手,请严格按照步骤来做。当然还有其他安装方式,这里讲的方式比较适合测试使用。

92910
来自专栏微服务

CentOS上安装RabbitMQ

所需环境 操作系统:Centos服务一台 网络环境:可以访问公网 安装Erlang RabbitMQ是一个开源的AMQP实现,服务器端用Erlang语言编写...

39890

扫码关注云+社区

领取腾讯云代金券