后端技能树修炼:基于队列的流量削峰模式

在分布式架构中,前端一个请求会经过后端的多个服务的处理才返回结果,这时就可能会存在一种情况,在间歇性高负载情况下,某个服务 B 的处理能力不能满足负载的需求,从而导致服务 B 崩溃或者服务调用者 A 响应超时,如下图所示:

那么如何解决这种问题呢?有读者可能会说,那就给服务 B 作单机性能优化,从而提升单机处理能力,进而提升服务 B 集群的整体处理能力;或者当单机处理能力已经无法进一步优化或者即使优化后仍然无法满足负载需求时,那么就对服务 B 集群进行水平扩容,从而提升集群整体的处理能力。

没错,这是一种常见的解决方案,但如果服务 B 集群扩容成本很高呢?例如服务 B 需要用到 GPU 来跑 AI 模型,而我们知道 GPU 成本不低。有一种解决方案是通过引入消息队列(例如 Kafka,RabbitMQ 等)来作为缓冲区,从而最小化请求峰值对服务可用性和响应性的影响(当然,也要考虑具体业务场景是否适合使用这种方式),如下图所示:

引入消息队列后,原来的同步调用变为异步执行,服务 A 将原来的请求封装成消息,发送到消息队列中,而服务 B 则根据自己的处理节奏从消息队列中获取消息进行处理,消息队列起到缓冲区的作用。这样即使服务 A 集群对服务 B 集群发起大量的并发请求,也不会导致服务 B 集群处理不过来甚至崩溃。

当然这种模式也适用于进程内的流量削峰,我们只需把上面的服务 A 和服务 B 替换成同一个应用进程内的模块间调用,而消息队列则替换成进程内的队列实现方案(例如 Disruptor)即可,模式是活的,具体如何应用就看使用者的水平了

对Java技术,架构技术感兴趣的同学,欢迎加QQ群:863621962,一起学习,相互讨论。

原创声明,本文系作者授权云+社区发表,未经许可,不得转载。

如有侵权,请联系 yunjia_community@tencent.com 删除。

编辑于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏杨建荣的学习笔记

运维系统重构的设计思路

最近要对已有的运维平台做重构工作,为什么要做重构,主要还是因为各种各样的原因,需要对已有的问题改进,修复历史遗留包袱。这个时间迟早都会来到,还不如自己自觉一点,...

1172
来自专栏编程

DNS 负载均衡:如何提升网站性能

如果你想提高你的网站或Web应用程序的访问速度,DNS负载均衡或许可以帮助你实现这一目标。通过帮助你分散收到的流量,有助于使网站以最佳的速度运行。 ? 什么是D...

2136
来自专栏非著名程序员

如何用好 GitHub 中的 Watch、Star、Fork

在每个 github 项目的右上角,都有三个按钮,分别是 watch、star、fork,但是有些刚开始使用 github 的同学,可能对这三个按钮的使用却不怎...

27110
来自专栏领域驱动设计DDD实战进阶

1.WF 4.5在项目中直接使用的问题

最近公司需要在互联网产品后台进行精细化流程管理,开发了一个基于WF 4.5框架的流程引擎与图形化设计器,让流程真正的跑了起来。 基于Visual Studio ...

3408
来自专栏微信小开发

整合微信小程序的Web API接口层的架构设计

来源:伍华聪 cnblogs.com/wuhuacong/p/7267333.html 例如:《C#开发微信门户及应用--微信各个项目模块的定义和相互关系》介绍...

30410
来自专栏IT技术精选文摘

分布式系统关键技术之全栈监控

容量管理 提供一个全局的系统运行时数据展示,可以让其它工程师知道是否需要加机器或资源

732
来自专栏L宝宝聊IT

esxi存储(外部共享存储)

18710
来自专栏Rainbond开源「容器云平台」

云帮每周更新日志(2017.01.02~2017.01.15)

1464
来自专栏FreeBuf

PhEmail:基于Python的开源网络钓鱼测试工具

PhEmail简介 PhEmail是一款采用Python编程语言开发的开源网络钓鱼邮件工具,它可以帮助研究人员在进行社会工程学测试的过程中自动化地给目标发送网络...

3035
来自专栏Java架构沉思录

CDN为什么这么快

CDN全称:Content Delivery Network或Content Ddistribute Network,即内容分发网络。

1992

扫码关注云+社区