腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

知了一笑

专栏作者

302

文章

201831

阅读量

29

订阅数

SpringBoot3集成Kafka

kafka 部署测试可视化配置

Kafka是一个开源的分布式事件流平台，常被用于高性能数据管道、流分析、数据集成和关键任务应用，基于Zookeeper协调的处理平台，也是一种消息系统，具有更好的吞吐量、内置分区、复制和容错，这使得它成为大规模消息处理应用程序的一个很好的解决方案；

2023-09-01

5510

分布式服务下，消息中间件改造

apache 云数据库 Redis python kafka

在系统开发初期，很容易出现这样一种情况：不同业务线上开发人员，因为技术栈和版本时间的影响，在选型的时候会优先使用自己熟悉的，例如MQ中间件常用的：Kafka、Rocket、Rabbit等，这样很容易忽略各个项目之间的组件差异问题；

2021-10-11

4550

数据采集组件：Flume基础用法和Kafka集成

kafka 编程算法分布式

Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；

2021-03-10

5620

结构与算法(02)：队列和栈结构

消息队列 CMQ 版 kafka 容器 api 编程算法

队列是一种特殊的线性表，特殊之处在于它只允许在表的前端（front）进行删除操作，而在表的后端（rear）进行插入操作，和栈一样，队列是一种操作受限制的线性表。进行插入操作的端称为队尾，进行删除操作的端称为队头。

2020-09-10

3380

数据源管理 | Kafka集群环境搭建，消息存储机制详解

网络安全 kafka 容器存储文件存储

Kafka集群中有一个broker会被选举为Controller，Controller依赖Zookeeper环境，管理集群broker的上下线，所有topic的分区副本分配和leader选举等工作。

2020-06-16

5680

SpringBoot2 整合Kafka组件，应用案例和流程详解

kafka zookeeper hadoop 消息队列 CMQ 版分布式

Kafka是由Apache开源，具有分布式、分区的、多副本的、多订阅者，基于Zookeeper协调的分布式处理平台，由Scala和Java语言编写。通常用来搜集用户在应用服务中产生的动作日志数据，并高速的处理。日志类的数据需要高吞吐量的性能要求，对于像Hadoop一样的日志数据和离线分析系统，但又要求实时处理的限制，这是一个可行的解决方案。Kafka的目的是通过Hadoop的并行加载机制来统一线上和离线的消息处理，也是为了通过集群来提供实时的消息。

2020-02-26

4920

SpringBoot2.0 整合 Redis集群 ,实现消息队列场景

分布式消息队列 CMQ 版 kafka 云数据库 Redis

Redis的分布式解决方案，在3.0版本后推出的方案，有效地解决了Redis分布式的需求，当一个服务宕机可以快速的切换到另外一个服务。redis cluster主要是针对海量数据+高并发+高可用的场景。

2019-07-19

7120

SpringBoot2.0 整合 RocketMQ ,实现请求异步处理

消息队列 CMQ 版 kafka apache

RocketMQ 的核心，接收 Producer 发过来的消息、处理 Consumer 的消费消息请求、消息的持久化存储、服务端过滤功能等。

2019-07-19

1.7K0

没有更多了

社区活动

腾讯技术创作狂欢月

“码”上创作 21 天，分 10000 元奖品池！

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态