后端技能树修炼:基于队列的流量削峰模式

在分布式架构中,前端一个请求会经过后端的多个服务的处理才返回结果,这时就可能会存在一种情况,在间歇性高负载情况下,某个服务 B 的处理能力不能满足负载的需求,从而导致服务 B 崩溃或者服务调用者 A 响应超时,如下图所示:

那么如何解决这种问题呢?有读者可能会说,那就给服务 B 作单机性能优化,从而提升单机处理能力,进而提升服务 B 集群的整体处理能力;或者当单机处理能力已经无法进一步优化或者即使优化后仍然无法满足负载需求时,那么就对服务 B 集群进行水平扩容,从而提升集群整体的处理能力。

没错,这是一种常见的解决方案,但如果服务 B 集群扩容成本很高呢?例如服务 B 需要用到 GPU 来跑 AI 模型,而我们知道 GPU 成本不低。有一种解决方案是通过引入消息队列(例如 Kafka,RabbitMQ 等)来作为缓冲区,从而最小化请求峰值对服务可用性和响应性的影响(当然,也要考虑具体业务场景是否适合使用这种方式),如下图所示:

引入消息队列后,原来的同步调用变为异步执行,服务 A 将原来的请求封装成消息,发送到消息队列中,而服务 B 则根据自己的处理节奏从消息队列中获取消息进行处理,消息队列起到缓冲区的作用。这样即使服务 A 集群对服务 B 集群发起大量的并发请求,也不会导致服务 B 集群处理不过来甚至崩溃。

当然这种模式也适用于进程内的流量削峰,我们只需把上面的服务 A 和服务 B 替换成同一个应用进程内的模块间调用,而消息队列则替换成进程内的队列实现方案(例如 Disruptor)即可,模式是活的,具体如何应用就看使用者的水平了

对Java技术,架构技术感兴趣的同学,欢迎加QQ群:863621962,一起学习,相互讨论。

原创声明,本文系作者授权云+社区发表,未经许可,不得转载。

如有侵权,请联系 yunjia_community@tencent.com 删除。

编辑于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏携程技术中心

干货 | 高吞吐消息网关的探索与思考

作者简介 刘惊惊,唯品会业务架构部高级架构师。主要负责用户线,营销线的业务架构,也参与库存系统的重构改造。 一、背景介绍 唯品会是一家立足于“全球精选,正品特卖...

2704
来自专栏码匠的流水账

OpenMessaging概览

OpenMessaging是阿里牵头发起的分布式消息模型标准,其api规范首先在rocketmq中落地实现。通过这个标准可以简化各种消息中间件的高复杂性和不兼容...

871
来自专栏Linyb极客之路

理解分布式系统中的缓存架构(下)

承接上一篇《理解分布式系统中的缓存架构(上)》,介绍了大型分布式系统中缓存的相关理论,常见的缓存组件以及应用场景,本文主要介绍缓存架构设计常见问题以及解决方案,...

561
来自专栏JAVA技术zhai

从1.6W名面试者中收集的Java面试题精选汇总(内附知识脑图)

2778
来自专栏IT大咖说

2018,换个角度看微服务监控与性能优化

摘要 主要介绍分布式监控的基本概念及方法,java技术栈相关监控机制,性能监控、业务监控、异常监控、性能数据分析在融数微服务平台的实践及应用。 ? 微服务监控 ...

3359
来自专栏Albert陈凯

2018-04-16 Java面试通关要点汇总集2018年最新 Java面试通关要点汇总集

2018年最新 Java面试通关要点汇总集 基础篇 基本功 面向对象的特征 final, finally, finalize 的区别 int 和 Integ...

2666
来自专栏服务端思维

Java面试通关要点 汇总集【最终版】

首先,声明下,以下知识点并非阿里的面试题。这里,笔者结合自己过往的面试经验,整理了一些核心的知识清单,帮助读者更好地回顾与复习 Java 服务端核心技术。本文会...

732
来自专栏idba

Strace 解决性能问题案例一则

前面一篇文章说了因为公司同事在解决一个故障(性能问题)时利用到strace,在学习strace工具的时候也查看《性能之巅》第十三章中,大神解决性能问题的思路和方...

624
来自专栏IT大咖说

华为资深架构师:Cloud Native架构一致性问题及解决方案

1483
来自专栏互扯程序

到底什么是分布式系统,该如何学习

现在是资源共享的时代,同样也是知识分享的时代,如果你觉得本文能学到知识,请把知识与别人分享。

935

扫码关注云+社区