后端技能树修炼:基于队列的流量削峰模式

在分布式架构中,前端一个请求会经过后端的多个服务的处理才返回结果,这时就可能会存在一种情况,在间歇性高负载情况下,某个服务 B 的处理能力不能满足负载的需求,从而导致服务 B 崩溃或者服务调用者 A 响应超时,如下图所示:

那么如何解决这种问题呢?有读者可能会说,那就给服务 B 作单机性能优化,从而提升单机处理能力,进而提升服务 B 集群的整体处理能力;或者当单机处理能力已经无法进一步优化或者即使优化后仍然无法满足负载需求时,那么就对服务 B 集群进行水平扩容,从而提升集群整体的处理能力。

没错,这是一种常见的解决方案,但如果服务 B 集群扩容成本很高呢?例如服务 B 需要用到 GPU 来跑 AI 模型,而我们知道 GPU 成本不低。有一种解决方案是通过引入消息队列(例如 Kafka,RabbitMQ 等)来作为缓冲区,从而最小化请求峰值对服务可用性和响应性的影响(当然,也要考虑具体业务场景是否适合使用这种方式),如下图所示:

引入消息队列后,原来的同步调用变为异步执行,服务 A 将原来的请求封装成消息,发送到消息队列中,而服务 B 则根据自己的处理节奏从消息队列中获取消息进行处理,消息队列起到缓冲区的作用。这样即使服务 A 集群对服务 B 集群发起大量的并发请求,也不会导致服务 B 集群处理不过来甚至崩溃。

当然这种模式也适用于进程内的流量削峰,我们只需把上面的服务 A 和服务 B 替换成同一个应用进程内的模块间调用,而消息队列则替换成进程内的队列实现方案(例如 Disruptor)即可,模式是活的,具体如何应用就看使用者的水平了

对Java技术,架构技术感兴趣的同学,欢迎加QQ群:863621962,一起学习,相互讨论。

原创声明,本文系作者授权云+社区发表,未经许可,不得转载。

如有侵权,请联系 yunjia_community@tencent.com 删除。

编辑于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏携程技术中心

开源 | 携程Redis多数据中心解决方案-XPipe

作者简介 孟文超,携程技术中心框架研发部高级经理。2016年加入携程,目前主要负责Redis多数据中心项目XPipe。此前曾在大众点评工作,任基础架构部门通信团...

49110
来自专栏哲学驱动设计

Rafy 框架 - 插件级别的扩展点

本章说明如何使用额外的插件(如客户化插件)对另一插件(如产品插件)进行扩展。 使用场景 在 产品线工程 中,项目的研发分为领域工程和应用工程。这个过程中会需要对...

1897
来自专栏杨建荣的学习笔记

运维系统重构的设计思路

最近要对已有的运维平台做重构工作,为什么要做重构,主要还是因为各种各样的原因,需要对已有的问题改进,修复历史遗留包袱。这个时间迟早都会来到,还不如自己自觉一点,...

1412
来自专栏编程

DNS 负载均衡:如何提升网站性能

如果你想提高你的网站或Web应用程序的访问速度,DNS负载均衡或许可以帮助你实现这一目标。通过帮助你分散收到的流量,有助于使网站以最佳的速度运行。 ? 什么是D...

2626
来自专栏微信小开发

整合微信小程序的Web API接口层的架构设计

来源:伍华聪 cnblogs.com/wuhuacong/p/7267333.html 例如:《C#开发微信门户及应用--微信各个项目模块的定义和相互关系》介绍...

33110
来自专栏Java架构沉思录

微服务架构下静态数据通用缓存机制

在分布式系统中,特别是最近很火的微服务架构下,有没有或者能不能总结出一个业务静态数据的通用缓存处理机制或方案,这篇文章将结合一些实际的研发经验,尝试理清其中存在...

802
来自专栏Rainbond开源「容器云平台」

云帮每周更新日志(2017.01.02~2017.01.15)

1554
来自专栏FreeBuf

PhEmail:基于Python的开源网络钓鱼测试工具

PhEmail简介 PhEmail是一款采用Python编程语言开发的开源网络钓鱼邮件工具,它可以帮助研究人员在进行社会工程学测试的过程中自动化地给目标发送网络...

3275
来自专栏领域驱动设计DDD实战进阶

1.WF 4.5在项目中直接使用的问题

最近公司需要在互联网产品后台进行精细化流程管理,开发了一个基于WF 4.5框架的流程引擎与图形化设计器,让流程真正的跑了起来。 基于Visual Studio ...

3598
来自专栏草根专栏

Python数据分析(二): Numpy技巧 (4/4)

numpy、pandas、matplotlib(+seaborn)是python数据分析/机器学习的基本工具。 numpy的内容特别丰富,我这里只能介绍一下比较...

3059

扫码关注云+社区