分布式系统进阶-腾讯云开发者社区

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

分布式系统进阶

专栏成员

104

文章

152919

阅读量

30

订阅数

Kafka源码分析-网络层-3

人工智能 java apache

上面的id即为我们在上篇介绍的非常重要的ConnectionId; (2) connect: 使用nio的SocketChannel连接到给定的地址,并且注册到nio selector,同时也创建了KafkaChannel,负责实际的数据接收和发送;

扫帚的影子

2018-09-05

4790

Kafka的Request和Response

数据结构人工智能 java apache

每个Request和Response都由RequestHeader(ResponseHeader) + 具体的消费体构成;

扫帚的影子

2018-09-05

9830

Kafka源码分析-网络层-2

人工智能 scala

这里面最主要的就是accept(key, processors(currentProcessor)) (4) accept: 设置新连接socket的参数后交由Processor处理:

扫帚的影子

2018-09-05

5780

Kafka基础组件和辅助类库简介

人工智能 scala

在正式开始扒代码之前, 先来个开胃菜,简单介绍一下kafka的基础组件和一些代码实现中用到的基础类库 ---- Kafka基础组件概述 KafkaServer是整个Kafka的核心组件，里面包含了ka

扫帚的影子

2018-09-05

7060

KafkaController分析2-NetworkClient分析InFlightRequests类

java 人工智能

NetworkClient: 顾名思义哈, 用于网络连接,消息发送的客户端封装, 源码中的注释: A network client for asynchronous request/response network i/o. This is an internal class used to implement the user-facing producer and consumer clients. 用在何处: 1. kafka本身实现了java版的producer和consumer,里面的网络连

扫帚的影子

2018-09-05

7890

KafkaController分析3-ControllerChannelManager

使用NetworkClient连接到broker node, 使用selector处理网络IO;

扫帚的影子

2018-09-05

2820

Kafka的日志管理模块--LogManagerKafka源码分析-汇总

存储人工智能

a. 如果kafka进程是优雅干净地退出的,会创建一个名为.kafka_cleanshutdown的文件作为标识; b. 启动kafka时, 如果不存在该文件, 则broker的状态进入到 RecoveringFromUncleanShutdown c. 针对dir下的每个topic子目录, 创建Log对象, 此对象在创建过程中会加载,恢复实际的消息, 每个这样的过程跑在一个使用**CoreUtils.runnable **创建的Job里, job再提交到线程池执行, 实际上是生成一个Feture, d. 等待c中所有的job都执行完, 以便完成所有的log加载,恢复过程;

扫帚的影子

2018-09-05

8610

Kafka消息的磁盘存储Kafka源码分析-汇总

存储人工智能 scala

可以看到使用FileMessageSet来操作Log文件, 使用OffsetIndex来操作Index文件

扫帚的影子

2018-09-05

1.5K0

Kafka中Message存储相关类大揭密Kafka源码分析-汇总

存储人工智能 scala

我们使用Kafka, 最终都是要存,取消息,今天我们就来看下源码中和消息相关的类; 涉及到的类: Message Record MessageSet ByteBufferMessageSet Buf

扫帚的影子

2018-09-05

9950

没有更多了

社区活动

【纪录片】中国数据库前世今生

穿越半个世纪，探寻中国数据库50年的发展历程

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态