悠扬前奏的博客-腾讯云开发者社区

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

悠扬前奏的博客

专栏成员

333

文章

267537

阅读量

32

订阅数

Kafka-15.实现-分发

kafka 文件存储

Kafka消费者跟踪它在每个分区消费的最大偏移量，并且能够提交偏移量，以便在重新启动的时候可以从这些偏移量中恢复。Kafka提供了在指定broker（针对该组）中将给定消费者组的所有偏移量存储为group coordinator的选项。即，改消费者组中的任何消费者实例应将其偏移量提交和提取发送给该group coordinator。消费者可以通过任何Kafka broker发出FindCoordinatorRequest并读取包含包含协调器详细信息的FindCoordinatorResponse来查找其协调器。然后，消费者可以继续从coordinator broker处理提交或者获取偏移量。在coordinator 移动的情况下，消费者需要重新发现coordinator。偏移调教可以由消费者实例自动或手动完成。

2019-07-01

3870

Kafka-13.实现-

文件存储自动驾驶

网络层是一个相当直接的NIO服务器，不再详细描述。 sendfile的实现是通过给MessageSet接口提供writeTo方法来完成的。这允许file-backed的消息集使用更高效的transferTo实现而不是进程内缓冲写入。线程模型是单个接受器线程和N个处理器线程，每个线程处理固定数量的连接。这种设计在其他地方经过了相当全面的测试，发现它易于实现且速度快。协议一直非常简单，以便将来使用其他语言实现客户端。

2019-06-20

2910

Kafka-11.设计-日志压缩

kafka 文件存储

日志压缩可以保证Kafka总是最少保留单个主题分区的数据日志中的每个消息的key的最后的已知值。（Log compaction ensures that Kafka will always retain at least the last known value for each message key within the log of data for a single topic partition. ）它address了用例和处理方案，例如应用程序崩溃或者系统故障后的状态恢复，或在运行维护期间重启应用后如何加载缓存。让我们更详细的介绍这些情况，然后描述是如何压缩的：到目前为止，我们仅描述了简单一些的数据保留方法，其中旧的日志数据在固定时间段或者当日志达到某个预定大小时被丢弃。这适用于时间事件数据，例如记录独立的日志记录。但是，一类重要的数据流是keyed更改的日志（例如，对数据库表的更改）。

2019-06-19

5900

Guava-1.19类Predicates

只要给定的参数是可序列化的，所有的方法返回可序列化的断言（predicates）。

2019-05-30

5610

Pandas-27.文件读取

read_csv和readtable()可以将文件中的内容转换为DataFrame对象：

2019-05-29

5190

Java序列化和反序列化

文件存储 java 编程算法

Java序列化(Serialize)是指将一个Java对象写入IO流中； Java反序列化(Deserialize)指的是从IO流中回复IO对象。

2019-05-28

8740

LintCode-7二叉树的序列化和反序列化

文件存储二叉树编程算法

设计一个算法，并编写代码来序列化和反序列化二叉树。将树写入一个文件被称为“序列化”，读取文件后重建同样的二叉树被称为“反序列化”。

2019-05-28

6070

没有更多了

社区活动

【纪录片】中国数据库前世今生

穿越半个世纪，探寻中国数据库50年的发展历程

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态