专栏首页后端技术学习Kafka流程流转-服务端

Kafka流程流转-服务端

kafka分为客户端和服务端,通常我们知道broker是服务端,而生产者和消费者作为客户端。因此在服务端就必定需要解决并发和网络IO的问题。因此不可避免需要用到SocketChannel和ServerSocketChannel,可以看到kafka就使用了ServerSocketChannel,采用Netty来解决这个问题,这里socketServer采用了1个Acceptor,多个Processor。同时将请求发送到请求通道RequestChannel中。而我们知道RequestChannel中有一个请求队列和多个响应队列,通常响应队列是3个,这个参数是在kafka的配置中配置的。通过kafka请求处理池进行请求转发,将请求转发到KafkaApis中,然后kafkaApis根据请求进行具体处理。而kafkaApis的请求处理依赖偏移量管理OffsetManager、LogManager、ReplicaManager等。

而我们知道在KafkaServer中除了上面的操作,还有Controller的操作,首先会创建KafkaController对象,这个过程中会创建一个ControllerContext,用于缓存控制器中的各种处理数据,包括选举次数、代理列表、主题列表、各个主题分区等以及状态机。然后进行KafkaController的初始化操作,在这个过程中需要首先经过ZookeeperLeaderElector选举,分为两种情况:当前控制器选举成功和选举失败,如果当前控制器选举成功则调用onControllerFailOver方法,如果当前控制器选举失败,则调用onControllerResignation方法。

选举过程中,是以leaderId是否为-1进行判断的,如果是-1,这说明没有成功选举出Leader,如果不为-1,则说明已经选举出Leader,此时会调用onBecomingLeader方法。

Kafka的健康检测是通过KafkaHealthCheck中在zookeeper上创建瞬时节点来实现的,如果存在瞬时节点,则说明健康,否者说明不健康。而在RocketMQ中,则是通过发送心跳包来进行判断是否健康的。

关注微信公众号:后端技术学习

本文分享自微信公众号 - 后端技术学习(gh_9f5627e6cc61),作者:路行的亚洲

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2020-11-08

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 对前端传入的json对象解析成多个对象

    multiRequestBodyDemo(@MultiRequestBody("dog")

    路行的亚洲
  • dubbo源码学习二

    昨天我们已经知道dubbo的入口可以通过自定义标签找到DubboNamespaceHandler找到解析自定义标签的相关类了。还有4个我们需要关注:Config...

    路行的亚洲
  • dubbo生产者暴露服务流程

    前面我们知道dubbo如果采用dubbo协议的话,此时会调用netty来启动服务。同时我们可以其在进行标签解析和注入到spring中。此时最为关键的是doExp...

    路行的亚洲
  • 刚刚,中国估值最高的AI公司一口气发布11款产品,横跨5大领域

    刚刚,商汤科技在其2019人工智能峰会上,一口气发布了11款产品。覆盖智慧城市、教育、医疗、零售、AR等五大领域。

    量子位
  • weui-react项目实战新心得

    weui-react简介 weui是微信官方制作的一个基础样式UI库,打造与原生微信同样的视觉和交互体验,整个UI库包括网页版和小程序版,网页版包括传统的jav...

    itmifen
  • GAN秒变肖像画!清华刘永进提出APDrawingGAN ,CVPR Oral(附微信小程序)

    肖像画是一种独特的艺术形式,通常使用一组稀疏的连续图形元素如线条来捕捉一个人的外表特征。

    新智元
  • MySQL应用优化

    一、基本语句优化原则 (1).尽量避免在索引列上进行运算或函数操作,这样会导致索引失效 如: select * from t where Year(d)>=20...

    lonelydawn
  • python实现低通滤波器代码

    实际代码,没有整理,可以读取txt文本文件,然后进行低通滤波,并将滤波前后的波形和FFT变换都显示出来

    砸漏
  • 构建用于生产的React静态化单页面服务 原

    React 作为一项热门的前端开发技术,现在使用它的团队越来越多。之前也介绍了react 的所有的特性,但是仅仅了解怎么开发 react 只走了万里长征的第一步...

    随风溜达的向日葵
  • 机器学习性能评价指标汇总

    AUC 是 ROC (Receiver Operating Characteristic) 曲线以下的面积, 介于0.1和1之间。Auc作为数值可以直观的评价分...

    莫斯

扫码关注云+社区

领取腾讯云代金券