Loading [MathJax]/jax/output/CommonHTML/config.js

开发者社区

文档建议反馈控制台

文章/答案/技术大牛

发布

社区首页 >问答首页 >如何管理Kafka群的过期

问如何管理Kafka群的过期
EN

Stack Overflow用户

提问于 2017-08-04 21:53:02

回答 1查看 2.9K关注 0票数 1

我试图通过删除它并让我的脚本稍后重新创建它来重置消费者配置，但我遇到了一个关于新消费者不可删除的错误。

kafka@kafka-0:~$ ./bin/kafka-consumer-groups.sh --bootstrap kafka-0:9092 --delete --group etl
Option '[delete]' is only valid with '[zookeeper]'. Note that there's no need to delete group metadata for the new consumer as the group is deleted when the last committed offset for that group expires.

现在我想知道，从这个错误消息中控制过期的消费者配置选项的名称是什么？

EN

回答 1

Stack Overflow用户

回答已采纳

发布于 2017-08-04 22:47:38

配置实际上是一个代理配置，它决定将提交的偏移量保留多长时间：offsets.retention.minutes。您可能还希望根据您选择的保留值来调整offsets.retention.check.interval.ms。(reference)

票数 4

EN

页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://stackoverflow.com/questions/45515994

复制

相关文章

如何管理一群技术牛人？

当一个研发中心出现很多技术牛人时，大多数时候并不是靠一个技术牛人单打独斗就能够把一件事情做好的，如何管理好这群技术牛人 —— 这也是考验技术管理者能力的时候到来了。

HappyQQ

2021/07/16

4750

如何使用kafka-eagle-2.0.2管理Kafka集群

kafka http 专用宿主机 node.js sql

Kafka产线环境需要管理的Topic和Consumser越来越多，使用命令行工具进行管理会非常繁杂。因此，大数据平台上需要一套Kafka的管理监控系统，Kafka-Eagle。

Eights

2020/11/09

2.2K0

如何使用kafka-eagle-2.0.2管理Kafka集群

Flink如何管理Kafka的消费偏移量

大数据 kafka

在这篇文章中我们将结合例子逐步讲解 Flink 是如何与 Kafka 工作来确保将 Kafka Topic 中的消息以 Exactly-Once 语义处理。

smartsi

2019/08/07

7.1K3

Flink如何管理Kafka的消费偏移量

Kafka定时清除过期数据

Kafka将数据持久化到了硬盘上，允许你配置一定的策略对数据清理，清理的策略有两个，删除和压缩。

挖掘大数据

2018/01/19

6.1K0

kafka-0.11集群部署

zookeeper kafka 打包网站

Zookeeper集群:172.16.218.201、172.16.218.202、172.16.218.203 172.16.218.201 kafka1 172.16.218.202 kafka2 172.16.218.203 kafka3 172.16.200.48 kafka-manager

用户5522200

2019/06/02

5210

群晖DS218+部署kafka

kafka zookeeper 容器容器镜像服务数据库

我是个Java程序员，在家写代码时常用到redis、mysql、kafka这些基础服务，通常做法是打开电脑，启动redis、mysql、kafka，用完再关闭电脑，总觉得这些操作挺麻烦（您想骂我懒么？您骂得对…）

程序员欣宸

2020/05/26

1.2K0

Redis 过期时间与内存管理

云数据库 Redis®编程算法缓存

当 Redis 作为缓存使用时（此时缓存仅作为热点数据提高服务的访问性能），需要考虑内存的限制，以及如何随着业务的增长，仅保留热点数据。

斯武丶风晴

2020/05/18

4370

Redis 过期时间与内存管理

redis如何设置定时过期_redis 设置过期时间[通俗易懂]

云数据库 Redis®数据库 sql

1、设置过期时间功能：即对存储在 redis 数据库中的值可以设置一个过期时间。作为一个缓存数据库，这是非常实用的。如我们一般项目中的 token 或者一些登录信息，尤其是短信验证码都是有时间限制的，按照传统的数据库处理方式，一般都是自己判断过期，这样无疑会严重影响项目性能。我们 set key 的时候，都可以给一个 expire time，就是过期时间，通过过期时间我们可以指定这个 key 可以存活的时间。

全栈程序员站长

2022/11/09

4.8K0

kafka3.0集群搭建过程

kafka zookeeper jdk bash bash 指令

切换到zookeeper用户 su - zookeeper 建立软链接,便于以后切换版本：

冬天里的懒猫

2021/11/09

2.2K0

如何管理Spark Streaming消费Kafka的偏移量（三）

前面的文章已经介绍了在spark streaming集成kafka时，如何处理其偏移量的问题，由于spark streaming自带的checkpoint弊端非常明显，所以一些对数据一致性要求比较高的项目里面，不建议采用其自带的checkpoint来做故障恢复。在spark streaming1.3之后的版本支持direct kafka stream，这种策略更加完善，放弃了原来使用Kafka的高级API自动保存数据的偏移量，之后的版本采用Simple API也就是更加偏底层的api，我们既可以用chec

我是攻城师

2018/05/14

1.2K0

如何管理Spark Streaming消费Kafka的偏移量（二）

上篇文章，讨论了在spark streaming中管理消费kafka的偏移量的方式，本篇就接着聊聊上次说升级失败的案例。事情发生一个月前，由于当时我们想提高spark streaming程序的并行处理性能，于是需要增加kafka分区个数，，这里需要说下，在新版本spark streaming和kafka的集成中，按照官网的建议 spark streaming的executors的数量要和kafka的partition的个数保持相等，这样每一个executor处理一个kafka partition的数据，效

我是攻城师

2018/05/14

1.1K0

kafka_2.11-0.11.0.1集群搭建

zookeeper https

本文搭建一个三节点的Kafka集群。该集群有三个Zookeeper、三个Kafka Broker。一、准备工作解压kafka安装包，获得如下目录： unzip kafka_2.11-0.11.0.1.zip kafka_2.11-0.11.0.1 Kafka目录结构：展示如下内容： . ├── LICENSE ├── NOTICE ├── bin ├── config ├── libs ├── logs └── site-docs cd kafka_2.11-0.11.0.1

用户1516716

2018/04/02

6060

如何管理Spark Streaming消费Kafka的偏移量（一）

最近工作有点忙，所以更新文章频率低了点，在这里给大家说声抱歉，前面已经写过在spark streaming中管理offset，但当时只知道怎么用，并不是很了解为何要那样用，最近一段时间又抽空看了一个github开源程序自己管理offset的源码，基本已经理解透彻了，当然这里面还包含了由于理解不透彻导致升级失败的一个案例，这个在下篇文章会分享出来。本篇我们先从理论的角度聊聊在Spark Streaming集成Kafka时的offset状态如何管理。 spark streaming 版本 2.1 kafka 版

我是攻城师

2018/05/14

1.7K0

Redis 的过期策略是如何实现的？

云数据库 Redis®

可见在 redisDb 结构的 expire 字典（过期字典）保存了所有键的过期时间

每天晒白牙

2020/08/21

1.6K0

Redis 的过期策略是如何实现的？

SparkStreaming和Kafka基于Direct Approach如何管理offset

kafka node.js spark zookeeper

在之前的文章《解析SparkStreaming和Kafka集成的两种方式》中已详细介绍SparkStreaming和Kafka集成主要有Receiver based Approach和Direct Approach。同时对比了二者的优劣势，以及针对不同的Spark、Kafka集成版本处理方式的支持：

大数据学习与分享

2020/09/14

6020

SparkStreaming和Kafka基于Direct Approach如何管理offset

加米谷：Kafka Connect如何运行管理

api 分布式 kafka http

上节讲述了Kafka OffsetMonitor：监控消费者和延迟的队列，本节更详细的介绍如何配置，运行和管理Kafka Connect，有兴趣的请关注我们的公众号。

加米谷大数据

2018/03/30

1.7K0

加米谷：Kafka Connect如何运行管理

域名过期怎么办，如何做过期域名查询？

在网站日常运营的过程中，你是否遇到这样一个事情，那就是，当你某一天正在打开网站的时候，却发现自己的网站页面跳转到自己购买域名的服务商域名过期页面上，这个时候，瞬间有点蒙圈，当我们回过神来，才发现原来自己的域名过期了。

蝙蝠侠IT

2021/02/23

15.1K0

域名过期怎么办，如何做过期域名查询？

【kafka】kafka的动态配置管理使用和分析

kafka android 运维

今天这篇文章,给大家分享一下最近看kafka中的动态配置,不需要重启Broker,即时生效的配置欢迎留言一起探讨！

石臻臻的杂货铺[同名公众号]

2022/04/13

9980

【kafka】kafka的动态配置管理使用和分析

如何实现Redis数据持久化以及内存管理之缓存过期机制

云数据库 Redis®unix 缓存 jquery

如果我们Redis宕机内存中的数据没了，这个时候会发生什么？就会导致原来所有从Redis读的请求都去到DB了

艾编程

2020/06/10

9380

Kafka Eagle 管理平台

源代码地址：https://github.com/smartloli/kafka-eagle

iginkgo18

2020/12/29

2.4K0

Kafka Eagle 管理平台

相似问题

kafka消息过期事件-如何捕获

21

如何恢复被踢出群的Kafka Consumer？

30

KAfka交叉簇群id

10

Kafka主题中的消息过期

21

将Kafka 0.8.2.1集群中的数据镜像到Kafka 2.2.0集群

117

添加站长进交流群

领取专属 10元无门槛券

AI混元助手 在线答疑

关注 腾讯云开发者公众号

洞察 腾讯核心技术

剖析业界实践案例