首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

深度解析微服务高并发流量服务降级、限流、熔断、流量效果控制

基础知识

本篇主要介绍服务降级、限流、熔断、流量效果控制等概念,解读Sentinel的一些特性,并通过对Sentinel性能压测介绍Sentinel的性能表现。

本篇内容主要包括以下几个方面。

服务降级、限流、熔断、流量效果控制。

Sentinel的特性。

Sentinel性能压测。

服务降级、限流、熔断、流量效果控制

限流,是指控制服务在单位时间内的流入流量,也就是控制服务在单位时间内处理的请求总数。

熔断,是指当下游服务突然变得不可用或者不稳定时,服务可以自动切断与下游服务的交互,从而保证自身可用。就像保险丝一样,当电流异常升高到一定数值时,保险丝就会熔断以切断电流。

流量效果控制,是指控制流量以达到某种效果,如控制每毫秒只放行一个请求以达到匀速通过的效果。常见的流量效果控制有匀速通过、冷启动。

服务降级,表示临时暂停一些不是那么重要的服务,以释放更多资源给重要的服务使用;也表示暂时由计划A改为计划B,计划A为正常提供的服务,计划B为临时提供的服务,如快速响应“系统忙碌,请稍后再试”的提示。

常见的服务降级实现方式有限流降级、熔断降级、开关降级。

限流降级

假设服务A需要依赖服务B完成客户端的一次请求,如图1.1所示。这时通过压测预测服务B单节点1秒内所能处理的最大并发请求数为200个,若为服务B配置限流阈值为200 QPS,则当1秒内服务B接收的请求数超过200个时,超出的请求就会被服务B拒绝。

图1.1 限流降级

对于超出阈值的流量除直接拒绝外,还可以采取一些策略以处理更多的请求,即流量效果控制。例如,均速排队这种方式主要用于处理间隔性突发的流量,如某一秒有大量的请求到来,而接下来的几秒都处于空闲状态,这时我们希望系统能够在接下来的空闲时间内逐个处理这些请求,而不是在第一秒直接拒绝多余的请求。

熔断降级

假设服务A需要依赖服务B完成客户端的一次请求,那么服务A如果能够感知服务B的状态,在服务B不行的时候不再请求服务B,就能确保服务A自身不会受服务B的影响。如何知道服务B到底行不行呢?

如图1.2所示,假设1秒内向服务B发送230个请求,结果有30个请求发生超时异常或响应异常,根据这个数字就可以预测后续请求也大概率不能被服务B正常处理。服务B已经处理不过来了,那么后续的请求就没有必要再发送了,因为发送出去也会显示异常。

图1.2 熔断降级

当然,服务B不会一直不行,当服务B恢复之后,服务A也应该能感知到,所以熔断需要以一个时长为周期,如1秒。这个周期也被称为时间窗口。每个时间窗口都要重新计算请求总数、异常总数这些指标数据,这样熔断就会在下一个周期自动恢复。

熔断降级的常见降级策略如下:

在每秒请求异常数超过多少时触发熔断降级。

在每秒请求异常错误率超过多少时触发熔断降级。

在每秒请求平均耗时超过多少时触发熔断降级。

提示:请求异常数越多、请求异常错误率越大或请求平均耗时越长,都说明服务的处理能力在下降。

开关降级

开关降级也是服务降级的一种实现方式。开关降级用于在有限的硬件条件下,提升系统核心功能的并发处理能力,以最少的硬件成本应对流量高峰。

电商项目开发涉及较多开关降级。一般在“大促活动”之前,都会通过开关方式将一些无关紧要的业务接口变成“不可用”。常见的实现方式是使用Redis控制服务降级的开关,如图1.3所示,在服务A收到服务B的请求时,先从Redis获取开关配置,若开关打开,则直接拒绝请求,并响应一个表示当前服务降级的状态码给调用者。

图1.3 开关降级

控制服务降级开关的方式可以是人工控制,也可以是定时任务,即在某个时段开启、某个时段关闭。

提示:定时任务控制服务降级开关的方式适合固定时间段请求突增的场景,例如,点外卖的高峰期在中午,就可以在上午11:00左右打开开关,在下午1:30之后关闭开关。

本文给大家讲解的内容是深度解析微服务高并发基础知识:服务降级、限流、熔断、流量效果控制

下篇文章给大家讲解的内容是度解析微服务高并发基础知识:Sentinel的特性

感谢大家的支持!

  • 发表于:
  • 原文链接https://kuaibao.qq.com/s/20230203A00JI500?refer=cp_1026
  • 腾讯「腾讯云开发者社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。
  • 如有侵权,请联系 cloudcommunity@tencent.com 删除。

扫码

添加站长 进交流群

领取专属 10元无门槛券

私享最新 技术干货

扫码加入开发者社群
领券