悠扬前奏的博客-腾讯云开发者社区

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

悠扬前奏的博客

专栏成员

333

文章

267510

阅读量

32

订阅数

Kafka-15.实现-分发

kafka 文件存储

Kafka消费者跟踪它在每个分区消费的最大偏移量，并且能够提交偏移量，以便在重新启动的时候可以从这些偏移量中恢复。Kafka提供了在指定broker（针对该组）中将给定消费者组的所有偏移量存储为group coordinator的选项。即，改消费者组中的任何消费者实例应将其偏移量提交和提取发送给该group coordinator。消费者可以通过任何Kafka broker发出FindCoordinatorRequest并读取包含包含协调器详细信息的FindCoordinatorResponse来查找其协调器。然后，消费者可以继续从coordinator broker处理提交或者获取偏移量。在coordinator 移动的情况下，消费者需要重新发现coordinator。偏移调教可以由消费者实例自动或手动完成。

2019-07-01

3870

Kafka-12.设计-配额

Kafka集群能够对请求实施配额，以控制客户端使用的broker资源。 Kafka broker可以为共享配额的每组客户强制执行两种类型的客户配额：

2019-06-19

5880

Kafka-11.设计-日志压缩

kafka 文件存储

日志压缩可以保证Kafka总是最少保留单个主题分区的数据日志中的每个消息的key的最后的已知值。（Log compaction ensures that Kafka will always retain at least the last known value for each message key within the log of data for a single topic partition. ）它address了用例和处理方案，例如应用程序崩溃或者系统故障后的状态恢复，或在运行维护期间重启应用后如何加载缓存。让我们更详细的介绍这些情况，然后描述是如何压缩的：到目前为止，我们仅描述了简单一些的数据保留方法，其中旧的日志数据在固定时间段或者当日志达到某个预定大小时被丢弃。这适用于时间事件数据，例如记录独立的日志记录。但是，一类重要的数据流是keyed更改的日志（例如，对数据库表的更改）。

2019-06-19

5900

Kafka-10.设计-复制

kafka 分布式 zookeeper

Kafka在可配置数量的服务器上复制每个主题分区的日志（您可以逐个主题地设置此复制因子）。这允许在群集中的服务器发生故障时自动故障转移到这些副本，以便在出现故障时消息仍然可用。

2019-06-16

5160

Kafka-9.设计-消息分发语义

在了解了生产者和消费者的工作方式之后，我们来讨论Kafka在生产者和消费者之间提供的语义保证。显然，有多个可能的消息专题保证可以提供：

2019-06-15

4920

Kafka-7.设计-生产者，消费者，效率

生产者将数据直接发送到作为分区leader的broker，而不需要任何中间路由曾。为了帮助生产者执行此操作，所有kafka节点都可以回答有关于那些服务器处于活动状态的源数据请求一级主题分区的leader在任何给定时间的位置，以允许生产者合适的指向它的请求。

2019-06-15

4090

Kafka-6.配置-Kafka Connect Configs

linux 编程算法 python kafka node.js

3.5 Kafka Connect Configs 下面是Kafka Connect 框架的配置： NAME DESCRIPTION TYPE DEFAULT VALID VALUES IMPORTANCE config.storage.topic The name of the Kafka topic where connector configurations are stored string high group.id A unique string that identifies the Co

2019-06-11

1.8K2

kafka maven scala api

Kafka通过一个语言独立的协议发布其所有功能，这个协议在很多编程语言都有可用的客户端。不过只有Java客户端是作为主要Kafka项目的一部分来维护的，其他客户端是以独立的开源项目提供的。无Java客户端在这里提供。

2019-06-11

6760

缓存 kafka 数据结构

Kafka设计的目的是为能作为一个统一的平台来处理大公司可能有的实时数据流。为此，需要考虑相当广泛的用例。

2019-06-11

5320

windows api kafka 消息队列 CMQ 版编程算法

在Kafka中，每一个客户端和服务器的连接都以一种简单的，高性能的，语言无关的TCP协议完成。这个协议的版本能够向后维护来兼容旧版本。我们提供了一个Java客户端，但是客户端其实在很多语言中都可用。

2019-05-28

6330

没有更多了

社区活动

【纪录片】中国数据库前世今生

穿越半个世纪，探寻中国数据库50年的发展历程

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态