张乘辉

LV1
发表了文章

Kafka 独立消费者

以前我们讨论的消费组,都是 group 的形式,group 可以自动地帮助消费者分配分区,且在发生异常时,还能自定地进行重平衡(Rebalance)。正常来说,...

张乘辉
发表了文章

记一次 Kafka Producer 性能调优实战

最近,遇到某个集群的生产端发送延迟特别高,而且吞吐量上不去,检查集群负载却很低,且集群机器配置非常好,网络带宽也很大,于是使用 Kafka 压测脚本进行了压测。

张乘辉
发表了文章

深度剖析 Kafka Producer 的缓冲池机制【图解 + 源码分析】

上次跟大家分享的文章「Kafka Producer 异步发送消息居然也会阻塞?」中提到了缓冲池,后面再经过一番阅读源码后,发现了这个缓冲池设计的很棒,被它的设计...

张乘辉
发表了文章

Kafka Producer 异步发送消息居然也会阻塞?

Kafka 一直以来都以高吞吐量的特性而家喻户晓,就在上周,在一个性能监控项目中,需要使用到 Kafka 传输海量消息,在这过程中遇到了一个 Kafka Pro...

张乘辉
发表了文章

有一次小明传数据给我,把我弄哭了

某天小明处理的一些数据需要传给我这边处理,于是小明在我们的传输媒介上面新增了一个 Map 用于保存这些数据,数据结构如下:

张乘辉
发表了文章

图解 DataX 核心设计原理

DataX 是阿里巴巴开源的一个异构数据源离线同步工具,致力于实现包括关系型数据库(MySQL、Oracle 等)、HDFS、Hive、ODPS、HBase、F...

张乘辉
发表了文章

kill -9 导致 Kakfa 重启失败的惨痛经历!

在 2 月10 号下午大概 1 点半左右,收到用户方反馈,发现日志 kafka 集群 A 主题 的 34 分区选举不了 leader,

张乘辉
发表了文章

Kafka 常用运维脚本

张乘辉
发表了文章

使用 K8s 进行作业调度实战分享

最近在公司的数据同步项目(以下简称 ZDTP)中,需要使用到分布式调度数据同步执行单元,目前使用的方案是将数据同步执行单元打包成镜像,使用 K8s 进行调度。

张乘辉
发表了文章

图解 K8s 核心概念和术语

我第一次接触容器编排调度工具是 Docker 自家的 Docker Swarm,主要解决当时公司内部业务项目部署繁琐的问题,我记得当时项目实现容器化之后,花在项...

张乘辉
发表了文章

探讨缓存行与伪共享

最近项目中有个需求,需要用到有界队列对访问请求量进行流量削峰请求,同时作为一个缓冲层对请求处理进行后续处理,Java 内置有界队列 ArrayBlockingQ...

张乘辉
发表了文章

Seata RPC 模块的重构之路

RPC 模块是我最初研究 Seata 源码开始的地方,因此我对 Seata 的 RPC 模块有过一些深刻研究,在我研究了一番后,发现 RPC 模块中的代码需要进...

张乘辉
发表了文章

Kafka 消费线程模型在中通消息服务运维平台的应用

以上问题看出来这位朋友刚接触 Kafka,我们都知道 Kafka 相对 RocketMQ 来说,消费端是非常 “原生” 的,不像 RocketMQ 将消费线程模...

张乘辉
发表了文章

记一次关于位移提交的问题回答

今晚撸得正兴奋时,有个朋友突然问了我一个关于位移提交的问题,他最近刚接触 Kafka,在一篇博客中看到了这么一段话:

张乘辉
发表了文章

Spring 异步实现原理与实战分享

最近因为全链路压测项目需要对用户自定义线程池 Bean 进行适配工作,我们知道全链路压测的核心思想是对流量压测进行标记,因此我们需要给压测的流量请求进行打标,并...

张乘辉
发表了文章

中通消息服务运维平台实践

中通快递每天有数千万的运单在各个环节运转,每个环节都有对应的多套业务系统来支撑,业务系统之间上下游关系较为密切,从上游的客户订单到下游转运、结算、分析等每个环节...

张乘辉
发表了文章

彻底搞懂 Kafka 消息大小相关参数设置的规则

根据 Kafka 消息大小规则设定,生产端自行将 max.request.size 调整为 4M 大小,Kafka 集群为该主题设置主题级别参数 max.mes...

张乘辉
发表了文章

保证严格的消息顺序消费究竟有多难?

我觉得这个问题问得很频繁,而且非常经典,在这里我就以 Kafka 为例子,说说我对 Kafka 顺序消息的一些理解吧,如有理解不对的地方麻烦留言指点一下。

张乘辉
发表了文章

盘点 Kafka 不能保证严格消费顺序的各种情况

上一篇文章「保证严格的消息顺序消费究竟有多难?」简单描述了对消息顺序消费的一些理解,上一篇文章中的第二个故障问题,感觉没描述清楚,现在我以 Kafka 为例子,...

张乘辉
发表了文章

Kafka/RocketMQ 多线程消费时如何保证消费顺序?

本文将从消费顺序性这个问题出发,深度剖析 Kafka/RocketMQ 消费线程模型。

张乘辉

个人简介

个人成就

扫码关注云+社区

领取腾讯云代金券