Author: Gorit
Date:2021年1月
Refer:阿里云大学
2021年发表博文: 11/30
具体介绍查阅官方文档,这里就不介绍了
QPS(每秒的请求量)
服务限流:(类比去景点玩,景点人员限流)
目的为了保护我们的服务,在高并发情况下,如果客户端的请求服务器端达到一定的极限(设置阈值),请求的数量超出我们设置的阈值,开启我们的自我保护机制,直接执行我们的服务降级的方法,不会去执行我们的业务逻辑,走本地的 fallback 方法
服务降级:(类比秒杀一件商品,当前排队人数过多,请稍后重试)
在高并发的情况下,为了防止用户一直等待,采用限流活熔断机制,保护我们的服务,不会执行我们的业务逻辑,走本地 fallback 方法,返回一个友好的提示给客户端
服务雪崩的效应:
默认的情况下,Tomcat/ Jetty 服务器 只会有一个线程池处理所有的接口请求。 这样的话,高并发情况下,如果客户端所有的请求都堆积到同一个接口上,那么会产生该服务器的所有线程都在处理该接口,可能会导致其他接口无法访问,短暂没有线程处理
**服务雪崩**解决方案:
服务的隔离机制:线程池隔离 或者 信号量隔离机制
实现的步骤:
创建我们流控、限流规则。 然后在被映射的地址去引用。
在 6.3.3 小结中会用到
java -Dserver.port=8718 -Dcsp.sentinel.dashboard.server=localhost:8718 -Dproject.name=sentinel-dashboard -jar sentinel-dashboard-1.8.0.jar
<dependency>
<groupId>com.alibaba.cloudgroupId>
<artifactId>spring-cloud-starter-alibaba-sentinelartifactId>
<version>2.1.0.RELEASEversion>
dependency>
<dependency>
<groupId>org.springframework.bootgroupId>
<artifactId>spring-boot-starter-webartifactId>
dependency>
@RestController
public class OrderService {
// 定义的限流规则名称
private static final String GETORDER_KEY = "orderToMenber";
// 测试 Sentinel,对接口限流
@RequestMapping("/orderToMenber")
public String orderToMenber() {
Entry entry = null;
try {
entry = SphU.entry(GETORDER_KEY);
return "orderToMenber接口";
} catch (Exception e) {
// 限流的情况就会进入 Exception
return "当前访问人数过多,请稍后重试!";
} finally {
if (entry != null) {
entry.exit();
}
}
}
/**
* 创建限流规则
* @return
*/
@RequestMapping("/initFlowQpsRule")
public String initFlowQpsRule() {
List<FlowRule> rules = new ArrayList<FlowRule>();
FlowRule rule1 = new FlowRule();
rule1.setResource(GETORDER_KEY); // 限流规则名称
//qps 控制在 1 以内
rule1.setCount(1);
//qps 限流
rule1.setGrade(RuleConstant.FLOW_GRADE_QPS);
rule1.setLimitApp("default");
rules.add(rule1);
FlowRuleManager.loadRules(rules);
return ".... 限流配置初始化成功";
}
}
SpringBoot 项目启动成功之后,加载我们的限流规则。
Sentinel 限流的规则默认情况下是没有持久化,如果需要持久化的话用 zk、nacos、携程阿波罗
package cn.gorit.service.order.config;
import com.alibaba.csp.sentinel.slots.block.RuleConstant;
import com.alibaba.csp.sentinel.slots.block.flow.FlowRule;
import com.alibaba.csp.sentinel.slots.block.flow.FlowRuleManager;
import org.slf4j.Logger;
import org.slf4j.LoggerFactory;
import org.springframework.boot.ApplicationArguments;
import org.springframework.boot.ApplicationRunner;
import org.springframework.context.annotation.Configuration;
import java.util.ArrayList;
import java.util.List;
/**
* @Classname SentinelApplicationRunner
* @Description 我们将初始化的规则,放在这里加载,这是 Springboot 提供的一个启动加载接口
* @Date 2021/1/30 14:31
* @Created by CodingGorit
* @Version 1.0
*/
@Configuration
public class SentinelApplicationRunner implements ApplicationRunner {
// 定义的限流规则名称
private static final String GETORDER_KEY = "orderToMenber";
private Logger log = LoggerFactory.getLogger(SentinelApplicationRunner.class);
@Override
public void run(ApplicationArguments args) throws Exception {
List<FlowRule> rules = new ArrayList<FlowRule>();
FlowRule rule1 = new FlowRule();
rule1.setResource(GETORDER_KEY); // 限流规则名称
//qps 控制在 1 以内
rule1.setCount(1);
//qps 限流
rule1.setGrade(RuleConstant.FLOW_GRADE_QPS);
rule1.setLimitApp("default");
rules.add(rule1);
FlowRuleManager.loadRules(rules);
log.info(">>> 限流配置加载成功");
}
}
/**
* @SentinelResource 参数主要如下
* fallback 服务降级执行本地方法
* blockHandler 限流/熔断 出现异常执行的方法
* value 指定我们的资源名称
* @return
*/
@SentinelResource(value = GETORDER_KEY, blockHandler = "getOrderQpsException")
@RequestMapping("/orderToMemberSentinelResource")
public String orderToMemberSentinelResource() {
return "orderToMemberSentinelResource";
}
/**
* 被限流后返回的提示
* @param e
* @return
*/
public String getOrderQpsException(BlockException e) {
e.printStackTrace();
return "该接口被限流了";
}
java -Dserver.port=8718 -Dcsp.sentinel.dashboard.server=localhost:8718 -Dproject.name=sentinel-dashboard -jar sentinel-dashboard-1.8.0.jar
spring:
application:
name: gorit-order
cloud:
nacos:
discovery:
server-addr: 127.0.0.1:8848
sentinel:
transport:
dashboard: 127.0.0.1:8718
eager: true
/**
* 基于控制台实现流量规则限流
* @return
*/
@RequestMapping("/getOrderConsole")
public String getOrderConsole () {
return "getOrderConsole";
}
/**
* 如果没有使用 @SentinelResource 注解,默认资源名称为接口路径 /getOrderConsole
*/
Blocked by Sentinel (flow limiting)
PS:如果配置了注解,就会和默认的资源名称冲突,所以要删除默认的资源名称
限流规则设置 线程数
// 基于信号量, 在控制台设置规则的时候,配置为 线程数
@SentinelResource(value = GETORDER_KEY, blockHandler = "getOrderQpsException")
@RequestMapping("/getOrderSemaphore")
public String getOrderSemaphore () {
log.info(">>>" + Thread.currentThread().getName());
return "getOrderSemaphore";
}
阙值改为线程数
访问效果
如果看不到效果,可以在代码中加入 Thread.sleep(500) ,使线程阻塞即可
Sentinel 支持数据规则持久化的,官方默认支持 5 种(sentinel-nacos 1.7.0 版本)
gorit-order-sentinel
我们可以在 Nacos 编写 Sentinel 的资源配置,然后整合 sentinel-nacos 的配置
[
{
"resource": "/getOrderSentinel",
"limitApp": "default",
"grade": 1,
"count": 1,
"strategy": 0,
"controlBehavior": 0,
"clusterMode": false
}
]
依赖配置
<dependency>
<groupId>com.alibaba.cloudgroupId>
<artifactId>spring-cloud-starter-alibaba-sentinelartifactId>
<version>2.1.0.RELEASEversion>
dependency>
<dependency>
<groupId>com.alibaba.cspgroupId>
<artifactId>sentinel-datasource-nacosartifactId>
<version>1.7.0version>
dependency>
PS:我用的 SpringBoot 版本是 2.3.4 RELEASE,之前用的 nacos-sentinel 的版本是 1.5.6,启动老是报错,好来改成 1.7.0 就出来了
配置文件 (application.yml)
spring:
application:
name: gorit-order
cloud:
nacos:
discovery:
server-addr: 127.0.0.1:8848
sentinel:
transport:
dashboard: 127.0.0.1:8718 # 这个是控制台的地址,因为我启动时,指定了控制台启动的端口为 8718
eager: true
datasource:
- nacos:
server-addr: localhost:8848 # nacos 连接地址
group-id: DEFAULT_GROUP # nacos 连接分组
rule-type: flow # 路由存储规则 flow、degrade、param-flow、gw-flow
data-id: ${spring.application.name}-sentinel # 读取配置文件的 data-id
data-type: json # 读取配置文件累心为 JSON 和 XML
server:
port: 8091
编写 getOrderSentinel 接口
// 集成 nacos 实现 sentinel 流控规则的持久化
@RequestMapping("/getOrderSentinel")
public String getOrderSentinel() {
return "OrderSentinel";
}
启动项目
更新前
更新 nacos 配置
更改后
看,我们已经实现了通过 nacos 配置中心修改限流规则了
PS: 如果发现重启没有生效的话,是因为我们之前编写的 SentinelApplicationRunner 类会初始化我们的流控配置,所以将其注释掉,就可以解决 nacos 持久化被覆盖的问题
Gateway 是采用 netty 启动的,不支持 Servlet-API。所以添加了 Springboot-web 的依赖就会报错
网关流控原理
当通过
GatewayRuleManager
加载网关流控规则(GatewayFlowRule
)时,无论是否针对请求属性进行限流,Sentinel 底层都会将网关流控规则转化为热点参数规则(ParamFlowRule
),存储在GatewayRuleManager
中,与正常的热点参数规则相隔离。转换时 Sentinel 会根据请求属性配置,为网关流控规则设置参数索引(idx
),并同步到生成的热点参数规则中。外部请求进入 API Gateway 时会经过 Sentinel 实现的 filter,其中会依次进行 路由/API 分组匹配、请求属性解析和参数组装。Sentinel 会根据配置的网关流控规则来解析请求属性,并依照参数索引顺序组装参数数组,最终传入
SphU.entry(res, args)
中。Sentinel API Gateway Adapter Common 模块向 Slot Chain 中添加了一个GatewayFlowSlot
,专门用来做网关规则的检查。GatewayFlowSlot
会从GatewayRuleManager
中提取生成的热点参数规则,根据传入的参数依次进行规则检查。若某条规则不针对请求属性,则会在参数最后一个位置置入预设的常量,达到普通流控的效果。
<dependency>
<groupId>org.springframework.cloudgroupId>
<artifactId>spring-cloud-starter-gatewayartifactId>
<version>2.2.4.RELEASEversion>
dependency>
<dependency>
<groupId>com.alibaba.cspgroupId>
<artifactId>sentinel-spring-cloud-gateway-adapterartifactId>
<version>1.7.0version>
dependency>
spring:
application:
name: gorit-order-gateway-8080
cloud:
nacos:
discovery:
server-addr: 127.0.0.1:8848
gateway:
routes:
- id: my-member # 这个用不到,是之前写过的,可以直接 copy 过来
uri: lb://gorit-member
# 匹配规则
predicates:
- Path=/gorit-member/**
- id: gorit
uri: https://www.gorit.cn/ # 转发到我的个人网站
# 匹配规则
predicates:
- Path=/**
enabled: true
server:
port: 8080
SentinelGatewayFilter
实例以及 SentinelGatewayBlockExceptionHandler
实例即可package cn.gorit.config;
import com.alibaba.csp.sentinel.adapter.gateway.sc.SentinelGatewayFilter;
import com.alibaba.csp.sentinel.adapter.gateway.sc.exception.SentinelGatewayBlockExceptionHandler;
import org.springframework.beans.factory.ObjectProvider;
import org.springframework.cloud.gateway.filter.GlobalFilter;
import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.Configuration;
import org.springframework.core.Ordered;
import org.springframework.core.annotation.Order;
import org.springframework.http.codec.ServerCodecConfigurer;
import org.springframework.web.reactive.result.view.ViewResolver;
import java.util.Collections;
import java.util.List;
/**
* @Classname GatewayConfiguration
* @Description TODO
* @Date 2021/1/31 22:34
* @Created by CodingGorit
* @Version 1.0
*/
@Configuration
public class GatewayConfiguration {
private final List<ViewResolver> viewResolvers;
private final ServerCodecConfigurer serverCodecConfigurer;
public GatewayConfiguration(ObjectProvider<List<ViewResolver>> viewResolversProvider,
ServerCodecConfigurer serverCodecConfigurer) {
this.viewResolvers = viewResolversProvider.getIfAvailable(Collections::emptyList);
this.serverCodecConfigurer = serverCodecConfigurer;
}
@Bean
@Order(Ordered.HIGHEST_PRECEDENCE)
public SentinelGatewayBlockExceptionHandler sentinelGatewayBlockExceptionHandler() {
// Register the block exception handler for Spring Cloud Gateway.
return new SentinelGatewayBlockExceptionHandler(viewResolvers, serverCodecConfigurer);
}
@Bean
@Order(Ordered.HIGHEST_PRECEDENCE)
public GlobalFilter sentinelGatewayFilter() {
return new SentinelGatewayFilter();
}
}
package cn.gorit.config;
import com.alibaba.csp.sentinel.adapter.gateway.common.rule.GatewayFlowRule;
import com.alibaba.csp.sentinel.adapter.gateway.common.rule.GatewayRuleManager;
import org.springframework.boot.ApplicationArguments;
import org.springframework.boot.ApplicationRunner;
import org.springframework.context.annotation.Configuration;
import java.util.HashSet;
import java.util.Set;
/**
* @Classname SentinelApplicationRunner
* @Description TODO
* @Date 2021/1/31 22:37
* @Created by CodingGorit
* @Version 1.0
*/
@Configuration
public class SentinelApplicationRunner implements ApplicationRunner {
@Override
public void run(ApplicationArguments args) throws Exception {
initGatewayRules();
}
/**
* 配置网关限流规则
*/
private void initGatewayRules() {
Set<GatewayFlowRule> rules = new HashSet<>();
// 设置规则
rules.add(new GatewayFlowRule("gorit")
// 设置阙值
.setCount(1)
// 设置时间窗口,单位是秒,默认是 1 s
.setIntervalSec(1));
GatewayRuleManager.loadRules(rules);
}
}
然后即可实现限流效果
PS:
public class SentinelGatewayBlockExceptionHandler implements WebExceptionHandler
*/
public class JsonSentinelGatewayBlockExceptionHandler implements WebExceptionHandler {
public JsonSentinelGatewayBlockExceptionHandler(List<ViewResolver> viewResolvers) {
}
@Override
public Mono<Void> handle(ServerWebExchange exchange, Throwable throwable) {
ServerHttpResponse serverHttpResponse = exchange.getResponse();
serverHttpResponse.getHeaders().add("Content-Type","application/json;charset=utf-8");
byte[] datas = "{\"code\":403,\"msg\":\"API 接口被限流\"}".getBytes(StandardCharsets.UTF_8);
DataBuffer buffer = serverHttpResponse.bufferFactory().wrap(datas);
return serverHttpResponse.writeWith(Mono.just(buffer));
}
}
服务出现异常时,会自动服务降级,禁止外来继续访问,不会执行真正的逻辑
Sentinel 支持服务的熔断降级
熔断类似于保险丝,如果超出了我们的阙值的情况下,在一定时间内不会执行我们的业务逻辑,直接执行我们的服务降级方法 (fallback) 返回一个友好的提示给客户端,不会真实的执行业务逻辑
// 基于信号量, 在控制台设置规则的时候,配置为 线程数
@SentinelResource(value = GETORDER_KEY, fallback = "",blockHandler = "getOrderQpsException")
@RequestMapping("/getOrderSemaphore")
public String getOrderSemaphore () {
log.info(">>>" + Thread.currentThread().getName());
return "getOrderSemaphore";
}
服务降级策略
官方的熔断策略
SLOW_REQUEST_RATIO
):选择以慢调用比例作为阈值,需要设置允许的慢调用 RT(即最大的响应时间),请求的响应时间大于该值则统计为慢调用。当单位统计时长(statIntervalMs
)内请求数目大于设置的最小请求数目,并且慢调用的比例大于阈值,则接下来的熔断时长内请求会自动被熔断。经过熔断时长后熔断器会进入探测恢复状态(HALF-OPEN 状态),若接下来的一个请求响应时间小于设置的慢调用 RT 则结束熔断,若大于设置的慢调用 RT 则会再次被熔断。ERROR_RATIO
):当单位统计时长(statIntervalMs
)内请求数目大于设置的最小请求数目,并且异常的比例大于阈值,则接下来的熔断时长内请求会自动被熔断。经过熔断时长后熔断器会进入探测恢复状态(HALF-OPEN 状态),若接下来的一个请求成功完成(没有错误)则结束熔断,否则会再次被熔断。异常比率的阈值范围是 [0.0, 1.0]
,代表 0% - 100%。ERROR_COUNT
):当单位统计时长内的异常数目超过阈值之后会自动进行熔断。经过熔断时长后熔断器会进入探测恢复状态(HALF-OPEN 状态),若接下来的一个请求成功完成(没有错误)则结束熔断,否则会再次被熔断。接口
/**
* 基于我们的平均响应时间海鲜降级
*/
@SentinelResource(value = "getOrderDowngradeRtType",fallback = "getOrderDowngradeRtTypeFallback")
@RequestMapping("/getOrderDowngradeRtType")
public String getOrderDowngradeRtType() {
try {
Thread.sleep(300);
} catch (Exception e) {
}
return "order 业务逻辑正常执行";
}
public String getOrderDowngradeRtTypeFallback() {
return "执行本地的服务降级的方法";
}
sentinel 添加降级规则
测试相应即可
超出响应时间了,就会返回 fallback 的内容
接口(不带参数就会报错)
/**
* 基于异常比例 服务降级
*
*/
@SentinelResource(value = "getOrderDowngradeErrorType",fallback = "getOrderDowngradeErrorTypeFallback")
@RequestMapping("/getOrderDowngradeErrorType")
public String getOrderDowngradeErrorType(@RequestParam int age) {
int i = 1/age;
return "业务逻辑请求成功 i "+ i;
}
public String getOrderDowngradeErrorTypeFallback(int age) {
return "错误率太高,请稍后重试访问该接口";
}
配置
复用上面的接口
负载均衡专题