腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

Linyb极客之路

专栏作者

1062

文章

1800583

阅读量

128

订阅数

聊聊在springboot项目中如何配置多个kafka消费者

spring boot kafka

不知道大家有没有遇到这样的场景，就是一个项目中要消费多个kafka消息，不同的消费者消费指定kafka消息。遇到这种场景，我们可以通过kafka的提供的api进行配置即可。但很多时候我们会使用spring-kafka来简化开发，可是spring-kafka原生的配置项并没提供多个kafka配置，因此本文就来聊聊如何将spring-kafka进行改造，使之能支持多个kafka配置

2022-08-02

4.3K0

聊聊如何实现一个带幂等模板的Kafka消费者

不知道大家有没有这样的体验，你跟你团队的成员，宣导一些开发时注意事项，比如在使用消息队列时，在消费端处理消息时，需根据业务场景，考虑一下幂等。后面走查代码的时，会发现一些资浅的开发，在需要幂等判断的场景的情况下，仍然没做幂等判断。既然宣导无效，就干脆实现一个带幂等模板的消费者，然后开发基于这个模板进行消费端业务处理。本文就以spring-kafka举例，聊聊如何实现一个带幂等模板的kafka消费者

2022-05-24

1.2K0

基于 HTTP 协议的几种实时数据获取技术

socket编程网站消息队列 CMQ 版 kafka http

即对于HTTP协议来说，服务端给一次响应后整个请求就结束了，这是HTTP请求最大的特点，也是由于这个特点，HTTP请求无法做到的是服务端向客户端主动推送数据。

2022-03-10

7980

我说分布式事务之最大努力通知型事务

消息队列 CMQ 版 kafka

TCC适用于公司内部对一致性、实时性要求较高的业务场景，而本文我们讲解的“最大努力通知型事务”是为解决跨网络、跨服务之间的柔性事务的另一种解决方案。

2022-03-10

3350

Spring Boot的Kafka入门

这是Spring Boot使用Kafka入门，生产使用建议Spring Cloud Stream

2022-03-09

3090

spring kafka之如何批量给topic加前缀

kafka 网络安全 spring 腾讯云测试服务

最近业务开发部门给我们部门提了一个需求，因为他们开发环境和测试环境共用一套kafka，他们希望我们部门能帮他们实现自动给kafka的topic加上环境前缀，比如开发环境，则topic为dev_topic,测试环境，则topic为test_topic,他们kafka客户端是使用spring-kafka。一开始接到这个需求的时候，我心里是拒绝的，为啥开发环境和测试环境不分别部署一套kafka，还要那么麻烦。但老大都答应接这个需求了，作为小罗罗也只能接了

2022-01-06

5720

微服务信息同步方案（数据依赖一致性问题）

消息队列 CMQ 版 kafka rpc 微服务

此时产品上有个需求，在支付管理端根据是否出账搜索支付流水，而出账是账单服务的功能。所以这里涉及到信息的同步，那么，我们怎么保证同步一定能成功呢（最终一致性）。

2021-11-17

9740

面试官问，实际项目中用Redis要注意哪些规范?

云数据库 Redis 缓存消息队列 CMQ 版 kafka

Redis根据不同的用途，会有不同的持久化策略和逐出策略，所以，在使用和申请 Redis 集群前，请明确是用来做缓存还是存储。Redis的集群有主从和 cluster 两种模式，各有优缺点。以下规范不区分集群模式，我们分别从使用场景和操作限制两方面说明。

2021-10-27

5500

spring kafka之如何批量给topic加前缀

kafka spring spring boot java

最近业务开发部门给我们部门提了一个需求，因为他们开发环境和测试环境共用一套kafka，他们希望我们部门能帮他们实现自动给kafka的topic加上环境前缀，比如开发环境，则topic为dev_topic,测试环境，则topic为test_topic,他们kafka客户端是使用spring-kafka。一开始接到这个需求的时候，我心里是拒绝的，为啥开发环境和测试环境不分别部署一套kafka，还要那么麻烦。但老大都答应接这个需求了，作为小罗罗也只能接了

2020-12-05

1K0

消息队列的消费幂等性如何保证

kafka spring boot 消息队列 CMQ 版 java

当出现消费者对某条消息重复消费的情况时，重复消费的结果与消费一次的结果是相同的，并且多次消费并未对业务系统产生任何负面影响

2020-08-09

2.5K0

干货分享！设计一个系统架构时怎么去做性能优化？

缓存消息队列 CMQ 版 kafka 压力测试 cdn

设计系统架构中最核心的几个要素包括：性能，可用性，伸缩性，扩展性和安全性，而性能又是其中最为重要的，本篇简要说下网站性能优化方面所需做的一些事情；

2020-08-06

5530

一个天天用消息队列的人，不知道为啥用 MQ，这就有点尴尬

kafka 消息队列 CMQ 版 rabbitmq apache

分析:一个用消息队列的人，不知道为啥用，有点尴尬。没有复习这点，很容易被问蒙，然后就开始胡扯了。

2019-09-03

6840

springboot实战之stream流式消息驱动

https 消息队列 CMQ 版 kafka 网络安全 spring

Spring Cloud Stream 是一个用来为微服务应用构建消息驱动能力的框架。它可以基于Spring Boot 来创建独立的，可用于生产的Spring 应用程序。他通过使用Spring Integration来连接消息代理中间件以实现消息事件驱动。Spring Cloud Stream 为一些供应商的消息中间件产品提供了个性化的自动化配置实现

2019-08-21

4.3K0

什么是消息队列？消息队列使用场景是怎样的？

消息队列 CMQ 版 kafka

小红希望小明多读书，常寻找好书给小明看，之前的方式是这样：小红问小明什么时候有空，把书给小明送去，并亲眼监督小明读完书才走。久而久之，两人都觉得麻烦。

2019-07-24

9440

分布式消息队列差异化总结，太全了！

kafka rabbitmq apache 负载均衡负载均衡缓存

本文将对Kafka、RabbitMQ、ZeroMQ、RocketMQ、ActiveMQ从17 个方面综合对比作为消息队列使用时的差异。

2019-07-22

1.4K0

这可能是最中肯的Redis规范了

云数据库 Redis 缓存消息队列 CMQ 版 kafka

虽然 Redis支持持久化，但将所有数据存储在 Redis 中，成本非常昂贵。建议将热数据 (如 QPS超过 5k) 的数据加载到 Redis 中。低频数据可存储在 Mysql、 ElasticSearch中。

2019-07-08

7230

关于 MQ ，你必须知道的

消息队列 CMQ 版 kafka 数据库 sql 分布式

如上图，在不使用消息队列服务器的时候，用户的请求都直怼数据库，在高并发的情况下数据库压力剧增，不仅使得响应速度变慢，还可能因此而挂掉数据库，导致用户页面直接报错，项目经理找上门，然后*#！%@！#** ......（PS：尽管是某服务挂了，但某宝的用户页面提示信息一定会甩锅给网络不通哦~）

2019-06-28

6090

秒杀系统流量如何削峰？

kafka 消息队列 CMQ 版数据库 sql

但是对秒杀这个场景来说，最终能够抢到商品的人数是固定的，也就是说100人和10000人发起请求的结果都是一样的，并发度越高，无效请求也越多。

2019-05-14

7160

记在使用rocketmq client客户端过程中踩到的坑

消息队列 CMQ 版 kafka html 网络安全

最近项目中使用阿里的rocketmq来做消息队列，具体怎么使用rocketmq不在本文讨论范围之内，其相关帮助文档可以参考如下链接

2018-12-29

14.6K1

2016 腾讯软件开发面试题（部分）

二叉树消息队列 CMQ 版 kafka tcp/ip 编程算法

2016 腾讯软件开发面试题（不定项选择题【1-12】） 1、已知一棵二叉树，如果先序遍历的节点顺序是： ADCEFGHB ，中序遍历是： CDFEGHAB ，则后序遍历结果为：（） A. CFHGEBDA B. CDFEGHBA C. FGHCDEBA D. CFHGEDBA 知识点对于二叉树的遍历方式一般分为三种先序、中序、后序三种方式：先序遍历（根左右）若二叉树为空，则不进行任何操作：否则 1、访问根结点。 2、先序方式遍历左子树。 3、先序遍历右子树。中序遍历（左根右）若二叉树为空，则

2018-03-27

8700

点击加载更多

社区活动

腾讯技术创作狂欢月

“码”上创作 21 天，分 10000 元奖品池！

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态