首页标签消息队列 MQ

#消息队列 MQ

高可用、高并发、高可扩展、低延时的分布式消息队列服务

《面试补习》--来聊聊削峰填谷!

九灵

Alibaba · Java工程师 (已认证)

今天想和大家聊聊削峰填谷,最近 B 站发生的机房断电事件,和A站的服务雪崩,让我们对高可用关注了起来,之前梳理了高可用三剑客 限流,熔断和降级,今天想继续聊聊削...

6800

大数据开发:消息队列如何处理重复消息?

成都加米谷大数据

消息队列是越来越多的实时计算场景下得到应用,而在实时计算场景下,重复消息的情况也是非常常见的,针对于重复消息,如何处理才能保证系统性能稳定,服务可靠?今天的大数...

8520

【kafka运维】Kafka全网最全最详细运维命令合集(精品强烈建议收藏!!!)

石臻臻的杂货铺[同名公众号]

本文所有命令,博主均全部操作验证过,保证准确性; 非复制粘贴拼凑文章; 如果想了解更多工具命令,可在评论区留下评论,博主会择期加上;

10500

大数据开发:消息队列如何处理消息积压

成都加米谷大数据

实时消息流处理,是当前大数据计算领域面临的常见场景需求之一,而消息队列对实时消息流的处理,常常会遇到的问题之一,就是消息积压。今天的大数据开发学习分享,我们就来...

6500

大数据开发:消息队列如何确保消息不丢失?

成都加米谷大数据

消息队列在大数据技术生态当中,一直都是值得重视的存在,开源的消息队列产品,市面上也不少,基于不同的场景,需要去匹配不同的解决方案。围绕消息队列,今天的大数据开发...

11530

大数据开发:常用的四种消息队列对比

成都加米谷大数据

对于消息队列组件,在大数据技术生态当中,是有着多种解决方案的,在实际的开发任务当中,往往需要根据具体的需求,去规划解决方案。今天的大数据开发学习分享,我们主要来...

8430

Redis发布订阅:我想着应该是全网讲解最简单最通俗的文章了吧!

我是阿沐

可能小伙伴的工作年限大部分已经超过三年甚至四年五年,不知道是否有一种危机感,我们写了那么多的需求代码没有20w行也有个10w行了吧,但是出去找工作的时候不是笔试...

10400

高可用DevHa实践,告诉你生产环境0性能故障是如何做到的!

数列科技

导读:近日,数列科技CTO陆学慧参加ArchSummit全球架构师峰会,并进行了题为《0性能故障是如何做到的:高可用性能领域的DevHA实践》的主题演讲,详细介...

10820

5、深潜KafkaProducer——Sender线程

杨四正

通过上一课时的介绍我们了解到,业务线程通过 KafkaProducer.send() 方法将 message 放入 RecordAccumulator 中进行能...

12200

玩转直播系列之消息模块演进(3)

2020labs小助手

vivo · 技术编辑 (已认证)

即时消息(IM)系统是直播系统重要的组成部分,一个稳定的,有容错的,灵活的,支持高并发的消息模块是影响直播系统用户体验的重要因素。IM长连接服务在直播系统有发挥...

13840

3、深潜 kafka producer —— 核心架构

杨四正

kafka 自定义了一套网络协议,我们可以使用任意语言来实现这套协议,实现向 kafka 集群 push message 以及从 kafka 集群 pull m...

8800

如何让消息队列达到最大吞吐量?

kevwan

最佳吞吐量是让其中之一打满,而一般情况下内网带宽都会非常高,不太可能被打满,所以自然就是讲消息队列的写入速度打满,这就就有两个点需要平衡

21130

python大型项目后台异步这一篇就够了

python编程从入门到实践

点击python编程从入门到实践,置顶 公众号重磅 python入门资料,第一时间送达

8840

Kafka 是怎么存储的?为什么速度那么快?

码农架构

蚂蚁科技集团股份有限公司 · 高级软件架构师 (已认证)

Kafka 依赖于文件系统(更底层地来说就是磁盘)来存储和缓存消息。在我们的印象中,对于各个存储介质的速度认知大体同下图所示的相同,层级越高代表速度越快。很显然...

16981

消息的前生今世——从rabbimq的一条消息的生命周期引出的思考

Yerik

作为中间件的杠把子选手,rabbimq在系统架构中承担着承上启下的作用,常问到,你们为何选用rabbimq?则答曰,为了削峰填谷,为了系统解耦合,为了提高系统性...

34000

Kafka 生产者哪些重要的参数是我们需要注意的?

码农架构

蚂蚁科技集团股份有限公司 · 高级软件架构师 (已认证)

在 KafkaProducer 中大部分的参数都有合理的默认值,一般不需要修改它们。不过了解这些参数可以让我们更合理地使用生产者客户端,其中还有一些重要的参数涉...

10170

Kafka 在哪些场景下会造成重复消费或消息丢失?

码农架构

蚂蚁科技集团股份有限公司 · 高级软件架构师 (已认证)

kafka消费者在消费的时候对于位移提交的具体时机的把握也很有讲究,有可能会造成重复消费和消息丢失的现象。

10760

Kafka 在哪些场景下会造成重复消费或消息丢失?

码农架构

蚂蚁科技集团股份有限公司 · 高级软件架构师 (已认证)

kafka消费者在消费的时候对于位移提交的具体时机的把握也很有讲究,有可能会造成重复消费和消息丢失的现象。

9750

Kafka 消费者提交消费位移时提交的是当前消费到的最新消息的 offset 还是 offset+1?

码农架构

蚂蚁科技集团股份有限公司 · 高级软件架构师 (已认证)

对于 Kafka 中的分区而言,它的每条消息都有唯一的 offset,用来表示消息在分区中对应的位置。对于消费者而言,它也有一个 offset 的概念,消费者使...

12560

扫码关注云+社区

领取腾讯云代金券