后端技术

259 篇文章
29 人订阅

全部文章

平凡的学生族

git使用经验

git revert 用法 git revert只能抵消上一个提交, 相当于做出了一个新提交, 该提交的改动是上一个提交的反操作.

5930
平凡的学生族

linux 磁盘占满 查看占用

参考https://blog.csdn.net/ithomer/article/details/89530790 查看某个目录的文件大小并排序(单位为MB)....

7520
平凡的学生族

Java8 异步编程

提供空构造函数,complete, completeExceptionally,用于手动完成future

3910
平凡的学生族

KafkaConsumer 组件源码 ConsumerCoordinator

ConsumerCoordinator继承于AbstractCoordinator,也是其唯一的实现类。AbstractCoordinator定义了有关集群协调...

6610
平凡的学生族

KafkaConsumer RequestFuture异步流程控制

在org.apache.kafka.clients.consumer.internals包内的RequestFuture类可用来定义异步流程,常用的addLis...

5320
平凡的学生族

KafkaConsumer 组件源码 ConsumerNetworkClient

负责缓存要发送的请求、将加了回调的请求交给NetworkClient、触发NetworkClient的IO。

5620
平凡的学生族

Kafka消费者 组件源码 Fetcher

Fetcher是与KafkaConsumer交互的各大组件之一。在各大博客上,比如某csdn博客中提到,Fetcher的作用是:

8730
平凡的学生族

Spark Stream对接kafka 源码分析

本文会讲解Spark Stream是如何与Kafka进行对接的,包括DirectInputStream和KafkaRDD是如何与KafkaConsumer交互的

7520
平凡的学生族

Kafka protocol 版本适应的通信协议

在Kafka客户端与服务端通信的过程中,为了正确地发出、读取不同命令,需要定义通信的格式。org.apache.kafka.common.protocol包就负...

8020
平凡的学生族

KafkaConsumer 入门理解

需要理解offset的提交机制、保存。比如commitSync、commitAsync、__consumer_offsets。 深入还能了解offset的恢复...

8550
平凡的学生族

spark stream配置log输出

在cluster模式下,spark-submit添加如下参数。两个--conf分别为driver和executor设置log4j的配置文件,--files将文件...

7010
平凡的学生族

Spark web端查看节点

访问http://节点ip:8080/cluster找到对应的application_id

7320
平凡的学生族

kafka MetaData

Metadata只是一个信息副本,其更新由MetadataUpdater完成。MetadataUpdater由NetworkClient调用,用于更新Metad...

8220
平凡的学生族

KafkaProducer

其中,Sender把准备好的Batch取出,把要发往同一Node的Batch放在一起,发给NetworkClient

5010
平凡的学生族

kafka 内存管理 BufferPool

结合代码可知,BufferPool负责ByteBuffer的申请和释放。 BufferPool会维持一组大小为poolableSize的ByteBuffer,...

6210
平凡的学生族

kafka 网络模型2 Selector

在上一篇文章中,我分析了Kafka的请求、响应流程,但留下了Selector的疑点。本文会分析Selector和它的poll()是如何进行网络IO的,Netwo...

9430
平凡的学生族

kafka 启动1 入口函数

该函数的目的是读取config/server.properties中的参数到Properties中,供之后使用

11410
平凡的学生族

kafka 网络模型1 请求响应流程

在kafka 启动1 入口函数中,我们阅读了KafkaServer的注释,这里直接总结一下:

10930
平凡的学生族

intellij idea创建scala项目并使用log4j

10920
平凡的学生族

kafka 源码 debug环境搭建

添加启动项。Edit Configurations->点击+号->Application添加一个启动项,然后填写如下内容

10610

扫码关注云+社区

领取腾讯云代金券