腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

JetpropelledSnake

专栏作者

589

文章

1151460

阅读量

61

订阅数

Kafka学习笔记之分区Partition和副本Replicator的区别

kafka zookeeper

本篇主要介绍kafka的分区和副本，因为这两者是有些关联的，所以就放在一起来讲了，后面顺便会给出一些对应的配置以及具体的实现代码，以供参考~

Jetpropelledsnake21

2020-12-29

9590

Kafka学习笔记之kafka常见报错及解决方法（topic类、生产消费类、启动类）

kafka zookeeper tcp/ip bash bash 指令

解决方法：Failed to acquire lock on file .lock in /var/log/kafka-logs.--问题原因是有其他的进程在使用kafka，ps -ef|grep kafka，杀掉使用该目录的进程即可；

Jetpropelledsnake21

2020-12-25

6.5K0

Kafka学习笔记之kafka.common.KafkaException: Should not set log end offset on partition

kafka zookeeper

kafka单台机器做集群操作是没有问题的，如果分布多台机器并且partitions或者备份的个数大于1都会报kafka.common.KafkaException: Should not set log end offset on partition 这个错误，如果使用kafka默认的日志等级，过不了几分钟错误日志就会把磁盘刷满，导致服务器down掉。

Jetpropelledsnake21

2020-12-25

4430

Kafka学习笔记之Kafka Consumer设计解析

kafka zookeeper

　　本文主要介绍了Kafka High Level Consumer，Consumer Group，Consumer Rebalance，Low Level Consumer实现的语义，以及适用场景。以及未来版本中对High Level Consumer的重新设计–使用Consumer Coordinator解决Split Brain和Herd等问题。

Jetpropelledsnake21

2019-09-30

8400

Kafka学习笔记之Kafka High Availability(下)

zookeeper kafka

　　本文在上篇文章基础上，更加深入讲解了Kafka的HA机制，主要阐述了HA相关各种场景，如Broker failover，Controller failover，Topic创建/删除，Broker启动，Follower从Leader fetch数据等详细处理过程。同时介绍了Kafka提供的与Replication相关的工具，如重新分配Partition等。

Jetpropelledsnake21

2019-09-30

5520

Kafka学习笔记之Kafka High Availability(上)

kafka zookeeper 数据结构 node.js

　　Kafka在0.8以前的版本中，并不提供High Availablity机制，一旦一个或多个Broker宕机，则宕机期间其上所有Partition都无法继续提供服务。若该Broker永远不能再恢复，亦或磁盘故障，则其上数据将丢失。而Kafka的设计目标之一即是提供数据持久化，同时对于分布式系统来说，尤其当集群规模上升到一定程度后，一台或者多台机器宕机的可能性大大提高，对于Failover机制的需求非常高。因此，Kafka从0.8开始提供High Availability机制。本文从Data Replication和Leader Election两方面介绍了Kafka的HA机制。

Jetpropelledsnake21

2019-09-30

3730

Kafka学习笔记之如何永久删除Kafka的Topic

kafka zookeeper

使用kafka-topics --delete命令删除topic时并没有真正的删除，而是把topic标记为：“marked for deletion”，导致重新创建相同名称的Topic时报错“already exists”。

Jetpropelledsnake21

2019-08-19

1.4K0

Docker学习笔记之在开发环境中使用服务发现

zookeeper 容器镜像服务容器

服务发现应用是很多服务化系统的组成部分，所以在开发、测试环境中也就有必要配备一套服务发现体系来配合我们的开发、测试工作。在这一小节里，我们就来谈谈如何在 Docker 环境下部署服务发现应用。

Jetpropelledsnake21

2019-03-14

4440

没有更多了

社区活动

腾讯技术创作狂欢月

“码”上创作 21 天，分 10000 元奖品池！

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态