腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

正则

专栏作者

362

文章

511725

阅读量

24

订阅数

kafka源码之旅------Kafka元数据管理

我们往kafka集群中发送数据的时候，kafka是怎么感知到需要发送到哪一台节点中呢？其实这其中的奥秘就在kafka的Metadata中。这一篇我们就来看看kafka中的Metadata管理。

2022-04-11

7060

Kafka QUICKSTART

Kafka是一个分布式的事件流平台，可以让你跨多台机器读、写、存储和处理事件(在文档中也称为记录或消息)。

2022-04-11

3840

Kafka副本机制详解

所谓的副本机制（Replication），也可以称之为备份机制，通常是指分布式系统在多台网络互联的机器上保存有相同的数据拷贝。副本机制有什么好处呢？

2022-04-11

6820

RabbitMQ消息队列

消息队列 CMQ 版 kafka java 日志数据

消息队列中间件是分布式系统中重要的组件，主要解决应用解耦，异步消息，流量削锋等问题，实现高性能，高可用，可伸缩和最终一致性架构。目前使用较多的消息队列有ActiveMQ，RabbitMQ，ZeroMQ，Kafka，MetaMQ，RocketMQ

2022-04-11

5020

消息队列之kafka的重复消费

Kafka 是对分区进行读写的，对于每一个分区的消费，都有一个 offset 代表消息的写入分区时的位置，consumer 消费了数据之后，每隔一段时间，会把自己消费过的消息的 offset 提交一下。表示已记录当当前的消费位置，从这里开始消费。

2022-04-11

9320

kafka拦截器实现队列插队效果

突然出现一个任务需要对kafka处理的数据进行插队操作（内心小崩溃。。。），研究了一下，还是可以使用拦截器进行实现这样的效果的。

2022-04-11

2660

消息队列之kafka-服务端

kafka依赖于ZooKeeper，如果以单机模式调试kafka，需要确保本机已经安装了ZooKeeper，并处于启动状态。

2022-04-11

5040

如何把Kafka消息时延秒降10倍

如上图所示是模拟客户的业务网页构建的一个并发访问模型。用户在页面点击从而产生一个HTTP请求，这个请求发送到业务生产进程，就会启动一个投递线程（Deliver Thread）调用Kafka的SDK接口，并发送3条消息到DMS（分布式消息服务），每条消息大小3k，需要等待3条消息都被处理完成后才会返回请求响应⑧。当消息达到DMS后，业务消费进程调用Kafka的消费接口把消息取出来，然后将每条消息放到一个响应线程(Response Thread)中进行处理，响应线程处理完后，通过HTTP请求通知投递线程，投递线程收到响应后返回回复响应。

2022-04-11

7410

消息队列之Kafka-生产者

消息队列 CKafka 版

KafkaProducer 是线程安全的，可以在多个线程中共享单个 KafkaProducer 实例，也可以将 KafkaProducer 实例进行池化来供其他线程调用。

2022-04-08

4210

通用的消息队列(redis,kafka,rabbitmq)

网上有很多消息队列的中间件，如redis,kafka,rabbitmq,这些都很强大但用起来，每个的用法都不一样，有没有一种办法，我只需要实现一种方法，就能随意使用哪个中间件都可以呢. 我这边设计如下：

2022-04-08

3240

Kafka如何实现高性能IO

Kafka 是一个高性能的消息队列，在众多消息队列产品中，Kafka 的性能绝对是处于第一梯队的。我曾经在一台配置比较好的服务器上，对 Kafka 做过极限的性能压测，Kafka 单个节点的极限处理能力接近每秒钟 2000 万条消息，吞吐量达到每秒钟 600MB。

2022-04-08

3210

Kafka延时队列

消息队列 CKafka 版 kafka

TimingWheel是kafka时间轮的实现，内部包含了⼀个TimerTaskList数组，每个数组包含了⼀些链表组成的TimerTaskEntry事件，每个TimerTaskList表示时间轮的某⼀格，这⼀格的时间跨度为tickMs，同⼀个TimerTaskList中的事件都是相差在⼀个tickMs跨度内的，整个时间轮的时间跨度为interval = tickMs * wheelSize，该时间轮能处理的时间范围在cuurentTime到currentTime + interval之间的事件。

2022-04-08

1.8K0

Kafka重试队列

kafka没有重试机制不⽀持消息重试，也没有死信队列，因此使⽤kafka做消息队列时，需要⾃⼰实现消息重试的功能。实现创建新的kafka主题作为重试队列：

2022-04-08

6190

kafka-cli命令快速分析kafka消息队列

kafka是一种高吞吐量的分布式发布订阅消息系统。生产者发送消息到队列中，消费者消费其中的消息。

2022-04-08

5930

消息队列Kafka - 应用场景分析

一、消息队列概述消息队列中间件是分布式系统中重要的组件，主要解决应用解耦，异步消息，流量削锋等问题，实现高性能，高可用，可伸缩和最终一致性架构。目前使用较多的消息队列有ActiveMQ，RabbitMQ，ZeroMQ，Kafka，MetaMQ，RocketMQ

2022-04-07

7490

微服务架构 ——Kafka消息队列

消息队列中间件是分布式系统中重要的组件，主要解决应用耦合、异步消息、流量削锋等问题，具有高扩展性、可恢复性、送达保证、顺序保证等特点，可以实现高性能、高可用、可伸缩和最终一致性架构。目前在生产环境，使用较多的消息队列有ActiveMQ、RabbitMQ、ZeroMQ、Kafka、MetaMQ、RocketMQ、Redis等。

2022-04-07

1.7K0

从Mysql到本地文件与Kafka队列

消息队列 CKafka 版

1）修改application.properties文件中Mysql数据库的相关配置

2022-04-07

1.2K0

kafka安装监控 kafka eagle

kafka bash bash 指令

进入Kafka Eagle目录，进入conf目录修改system-config.properties配置文件内容如下

2022-03-18

1.4K0

Kafka集群管理工具之Kafka-manager部署安装

kafka https github 网络安全 git

Kafka Manager是用于管理Apache Kafka集群的工具。为了简化开发者和服务工程师维护Kafka集群的工作，yahoo构建了一个叫做Kafka管理器的基于Web工具，叫做 Kafka Manager。这个管理工具可以很容易地发现分布在集群中的哪些topic分布不均匀，或者是分区在整个集群分布不均匀的的情况。它支持管理多个集群、选择副本、副本重新分配以及创建Topic。同时，这个管理工具也是一个非常好的可以快速浏览这个集群的工具，有如下功能：

2022-03-18

5.3K0

k8s基础-简介、优缺点及相关资料

容器 kubernetes

云原生（Cloud Native），有利于在公有云、私有云和混合云等动态环境中，构建和运行可弹性扩展的应用。云原生包括容器、服务网格、微服务、不可变基础设施和声明式API。 docker swarm的功能，k8s的编排，mesos的调度管理。

2022-03-18

1.8K0

点击加载更多

社区活动

腾讯技术创作狂欢月

“码”上创作 21 天，分 10000 元奖品池！

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态