#Kafka

Kafka是由Apache软件基金会开发的一个开源流处理平台,由Scala和Java编写。该项目的目标是为处理实时数据提供一个统一、高吞吐、低延迟的平台。

30天习惯养成第三天

陌无崖

今天是习惯养成的第三天了,昨天给自己安排今天任务时想尝试了任务少会是什么状态,因为前两天总觉得任务过满,自己完成之后很疲惫,觉得时间不够用。

1930

微服务系列笔记之Broker模式入门篇

陌无崖

API模式笔记告一段了,这篇文章总结了Micro中的消息订阅模式,在之前的系列文章中讲解了RabbitMQ消息队列,使用的是原生代码进行编写,在Micro中,其...

2530

Handler 源码解析(Java 层)

程序亦非猿

从很早开始就认识到 Handler 了,只不过那时修为尚浅,了解的不够深刻,也没有应用自如。不过随着工作时间的增长,对 Handler 又有了更深层次的认识,于...

2010

干货 | 盘点Zookeeper在分布式架构中的应用

Yajun_

Zookeeper 在 Kafka 架构中扮演着重要角色。Kafka 使用 Zookeeper 进行元数据管理,保存 broker 注册的信息,包括 Topic...

3220

kafka篇-设计思路

Yajun_

在 Kafka 中,可以让消息保留相对较长的一段时间(比如一周),而不是试图在被消费后立即删除,也可以让消息保留到一定规模后,比如消息大小超出2G,再清除旧数据...

2410

细数 MQ 那些不得不说的 8 大好处

Yajun_

在大多使用场景下,数据处理的顺序都很重要。大部分MQ本来就是排序的,并且能保证数据会按照特定的顺序来处理。Kafka保证一个Partition内的消息的有序性。

4130

详解Kafka:大数据开发最火的核心技术

Yajun_

大数据时代来临,如果你还不知道Kafka那你就真的out了(快速掌握Kafka请参考文章:如何全方位掌握Kafka核心技术)!据统计,有三分之一的世界财富500...

2020

Kafka 的 20 项最佳优化实践

Yajun_

希望上述各项建议能够有助于您更有效地去使用 Kafka。如果您想提高自己在 Kafka 方面的专业知识,请进一步查阅 Kafka 配套文档中的“操作”部分,其中...

2130

Kafka 的事务到底长啥样?

Yajun_

在说 Kafka 的事务之前,先要说一下 Kafka 中幂等(Idempotent)的实现。幂等和事务是 Kafka 0.11.0.0 版本引入的两个特性,以此...

1510

基于磁盘的Kafka为什么这么快

Yajun_

Kafka是大数据领域无处不在的消息中间件,目前广泛使用在企业内部的实时数据管道,并帮助企业构建自己的流计算应用程序。Kafka虽然是基于磁盘做的数据存储,但却...

3120

Hadoop、Spark、Kafka面试题及答案整理

Yajun_

一个Kafka的Message由一个固定长度的header和一个变长的消息体body组成。

2320

你可能不知道的Redis用法

Yajun_

Stream的消费模型借鉴了Kafka的消费分组的概念,弥补了PubSub不能持久化消息的缺陷。Stream又不同于Kafka,Kafka可以分Partitio...

3730

spark streaming写入kafka性能优化

Yajun_

但是这种写法有很严重的缺点,对于每个rdd的每一个partition的数据,每一次都需要创建一个KafkaProducer,显然这种做法是不太合理的,而且会带来...

1820

Kafka 是如何保证数据可靠性和一致性

Yajun_

学过大数据的同学应该都知道 Kafka,它是分布式消息订阅系统,有非常好的横向扩展性,可实时存储海量数据,是流数据处理中间件的事实标准。本文将介绍 Kafka ...

3430

聊聊page cache与Kafka之间的事儿

王知无

对于单纯运行Kafka的集群而言,首先要注意的就是为Kafka设置合适(不那么大)的JVM堆大小。从上面的分析可知,Kafka的性能与堆内存关系并不大,而对pa...

4230

Redis的高级特性一览

全菜工程师小辉

慢查询只记录Redis在处理存储的时间计数(图中的3步骤),并不包含网络通信时间和排队时间,所以客户端超时分析时要综合每个因素。

2310

消息队列常见的 5 个应用场景

业余草

日志采集客户端,负责日志数据采集,定时写受写入Kafka队列;Kafka消息队列,负责日志数据的接收,存储和转发;日志处理应用:订阅并消费kafka队列中的日志...

4320

为什么 Kafka 速度那么快?

Java技术栈

Kafka的消息是保存或缓存在磁盘上的,一般认为在磁盘上读写数据是会降低性能的,因为寻址会比较消耗时间,但是实际上,Kafka的特性之一就是高吞吐率。

3820

基于磁盘的Kafka为什么这么快

Yajun_

Kafka是大数据领域无处不在的消息中间件,目前广泛使用在企业内部的实时数据管道,并帮助企业构建自己的流计算应用程序。Kafka虽然是基于磁盘做的数据存储,但却...

6020

进程间通信方式总结

Happyjava

进程间的通信方式,其实我们一直在用它,但是我们都不会去注意它。如果碰到面试官问你知道多少种进程间的通信方式,估计很多人都会有点懵。今天我们就来总结下进程间的通信...

8120

扫码关注云+社区

领取腾讯云代金券