平凡的学生族

LV0
发表了文章

Java8 异步编程

提供空构造函数,complete, completeExceptionally,用于手动完成future

平凡的学生族
发表了文章

KafkaConsumer 组件源码 ConsumerCoordinator

ConsumerCoordinator继承于AbstractCoordinator,也是其唯一的实现类。AbstractCoordinator定义了有关集群协调...

平凡的学生族
发表了文章

KafkaConsumer RequestFuture异步流程控制

在org.apache.kafka.clients.consumer.internals包内的RequestFuture类可用来定义异步流程,常用的addLis...

平凡的学生族
发表了文章

KafkaConsumer 组件源码 ConsumerNetworkClient

负责缓存要发送的请求、将加了回调的请求交给NetworkClient、触发NetworkClient的IO。

平凡的学生族
发表了文章

Kafka消费者 组件源码 Fetcher

Fetcher是与KafkaConsumer交互的各大组件之一。在各大博客上,比如某csdn博客中提到,Fetcher的作用是:

平凡的学生族
发表了文章

Spark Stream对接kafka 源码分析

本文会讲解Spark Stream是如何与Kafka进行对接的,包括DirectInputStream和KafkaRDD是如何与KafkaConsumer交互的

平凡的学生族
发表了文章

Kafka protocol 版本适应的通信协议

在Kafka客户端与服务端通信的过程中,为了正确地发出、读取不同命令,需要定义通信的格式。org.apache.kafka.common.protocol包就负...

平凡的学生族
发表了文章

KafkaConsumer 入门理解

需要理解offset的提交机制、保存。比如commitSync、commitAsync、__consumer_offsets。 深入还能了解offset的恢复...

平凡的学生族
发表了文章

spark stream配置log输出

在cluster模式下,spark-submit添加如下参数。两个--conf分别为driver和executor设置log4j的配置文件,--files将文件...

平凡的学生族
发表了文章

Spark web端查看节点

访问http://节点ip:8080/cluster找到对应的application_id

平凡的学生族
发表了文章

kafka MetaData

Metadata只是一个信息副本,其更新由MetadataUpdater完成。MetadataUpdater由NetworkClient调用,用于更新Metad...

平凡的学生族
发表了文章

KafkaProducer

其中,Sender把准备好的Batch取出,把要发往同一Node的Batch放在一起,发给NetworkClient

平凡的学生族
发表了文章

kafka 内存管理 BufferPool

结合代码可知,BufferPool负责ByteBuffer的申请和释放。 BufferPool会维持一组大小为poolableSize的ByteBuffer,...

平凡的学生族
发表了文章

kafka 网络模型2 Selector

在上一篇文章中,我分析了Kafka的请求、响应流程,但留下了Selector的疑点。本文会分析Selector和它的poll()是如何进行网络IO的,Netwo...

平凡的学生族
发表了文章

kafka 启动1 入口函数

该函数的目的是读取config/server.properties中的参数到Properties中,供之后使用

平凡的学生族
发表了文章

kafka 网络模型1 请求响应流程

在kafka 启动1 入口函数中,我们阅读了KafkaServer的注释,这里直接总结一下:

平凡的学生族
发表了文章

intellij idea创建scala项目并使用log4j

平凡的学生族
发表了文章

kafka 源码 debug环境搭建

添加启动项。Edit Configurations->点击+号->Application添加一个启动项,然后填写如下内容

平凡的学生族
发表了文章

docker-comopose kafka 一键搭建

本文是对使用Docker快速搭建Kafka开发环境的补充,跟随教程即可完成搭建,但还有些地方需要注意。

平凡的学生族
发表了文章

程序包org.springframework.boot.autoconfigure不存在

可能是maven的setting文件设置错误了。 比如在linux系统下,如果~/.m2/setting.xml中为:

平凡的学生族

个人简介

个人成就

扫码关注云+社区

领取腾讯云代金券