专栏首页程序猿 Damon 带你进阶全栈Spring cloud 之多种方式限流(实战)

Spring cloud 之多种方式限流(实战)

在频繁的网络请求时,服务有时候也会受到很大的压力,尤其是那种网络攻击,非法的。这样的情形有时候需要作一些限制。例如:限制对方的请求,这种限制可以有几个依据:请求IP、用户唯一标识、请求的接口地址等等。

当前限流的方式也很多:Spring cloud 中在网关本身自带限流的一些功能,基于 redis 来做的。同时,阿里也开源了一款:限流神器 Sentinel。今天我们主要围绕这两块来实战微服务的限流机制。

首先讲 Spring cloud 原生的限流功能,因为限流可以是对每个服务进行限流,也可以对于网关统一作限流处理。

一、实战基于 Spring cloud Gateway 的限流

pom.xml引入依赖:

<dependency>
        <groupId>org.springframework.boot</groupId>
        <artifactId>spring-boot-starter-data-redis-reactive</artifactId>
    </dependency>

其基础是基于redis,所以:

spring:
  application:
    name: gateway-service
  redis: #redis相关配置
    database: 8
    host: 10.12.15.5
    port: 6379
    password: 123456 #有密码时设置
    jedis:
      pool:
        max-active: 8
        max-idle: 8
        min-idle: 0
    timeout: 10000ms

接下来需要注入限流策略的 bean:

@Primary
  @Bean(value = "ipKeyResolver")
  KeyResolver ipKeyResolver() {
      return exchange -> Mono.just(exchange.getRequest().getRemoteAddress().getHostName());
      //return exchange -> Mono.just(exchange.getRequest().getRemoteAddress().getAddress().getHostAddress());
      //return exchange -> Mono.just(exchange.getRequest().getRemoteAddress().getAddress().getHostAddress());
  }

  /**
   * API限流
   * @return
   * @author Damon 
   * @date 2020年3月18日
   *
   */
  @Bean(value = "apiKeyResolver")
  KeyResolver apiKeyResolver() {
    return exchange -> Mono.just(exchange.getRequest().getPath().value());
  }

  /**
   * 请求路径中必须携带userId参数
   * 用户限流
   * @return
   * @author Damon 
   * @date 2020年3月18日
   *
   */
  @Bean(value = "userKeyResolver")
  KeyResolver userKeyResolver() {
    return exchange -> Mono.just(exchange.getRequest().getQueryParams().getFirst("userId"));
  }

这里引入ipKeyResolver、apiKeyResolver、userKeyResolver三种策略

,可以利用注解 @Primary 来决定其中一个被使用。

注入bean后,需要在配置中备用:

spring:
  application:
    name: gateway-service
  redis: #redis相关配置
    database: 8
    host: 10.12.15.5
    port: 6379
    password: 123456 #有密码时设置
    jedis:
      pool:
        max-active: 8
        max-idle: 8
        min-idle: 0
    timeout: 10000ms

  cloud:
    kubernetes:
      discovery:
        all-namespaces: true
    gateway:
      discovery:
        locator:
          enabled: true
          lowerCaseServiceId: true
      routes: #路由配置:参数为一个List
      - id: cas-server #唯一标识
        uri: lb://cas-server-service #转发的地址,写服务名称
        order: -1
        predicates:
        - Path=/cas-server/** #判断匹配条件,即地址带有/ribbon/**的请求,会转发至lb:cas-server-service
        filters:
        - StripPrefix=1 #去掉Path前缀,参数为1代表去掉/ribbon

        - name: RequestRateLimiter #基于redis的Gateway的自身限流
          args:
            redis-rate-limiter.replenishRate: 1  # 允许用户每秒处理多少个请求
            redis-rate-limiter.burstCapacity: 3  # 令牌桶的容量,允许在一秒钟内完成的最大请求数
            key-resolver: "#{@ipKeyResolver}" #SPEL表达式取的对应的bean

      - id: admin-web
        uri: lb://admin-web-service
        order: -1
        predicates:
        - Path=/admin-web/**
        filters:
        - StripPrefix=1

        - name: RequestRateLimiter
          args:
            redis-rate-limiter.replenishRate: 1  # 允许用户每秒处理多少个请求
            redis-rate-limiter.burstCapacity: 3  # 令牌桶的容量,允许在一秒钟内完成的最大请求数
            key-resolver: "#{@ipKeyResolver}" #SPEL表达式取的对应的bean

      - id: order-service
        uri: lb://order-service-service
        order: -1
        predicates:
        - Path=/order-service/**
        filters:
        - StripPrefix=1

        - name: RequestRateLimiter
          args:
            redis-rate-limiter.replenishRate: 1  # 允许用户每秒处理多少个请求
            redis-rate-limiter.burstCapacity: 3  # 令牌桶的容量,允许在一秒钟内完成的最大请求数
            key-resolver: "#{@ipKeyResolver}" #SPEL表达式取的对应的bean

  http:
    encoding:
      charset: UTF-8
      enabled: true
      force: true
  mvc:
    throw-exception-if-no-handler-found: true
  main:
    allow-bean-definition-overriding: true # 当遇到同样名称时,是否允许覆盖注册

这里是在原有的路由基础上加入 RequestRateLimiter限流过滤器,包括三个参

数:

- name: RequestRateLimiter #基于redis的Gateway的自身限流
          args:
            redis-rate-limiter.replenishRate: 3  #允许用户每秒处理多少个请求
            redis-rate-limiter.burstCapacity: 5  #令牌桶的容量,允许在一秒钟内完成的最大请求数
            key-resolver: "#{@ipKeyResolver}" #SPEL表达式取的对应的bean

其中 replenishRate,其含义表示允许每秒处理请求数;

burstCapacity 表示允许在一秒内处理的最大请求数;

key-resolver 这里采用请求 IP 限流,利用SPEL 表达式取对应的 bean

写一个小脚本来压测一下:

for i in $(seq 1 30000); do echo $(expr $i \\* 3 + 1);curl -i -H "Accept: application/json" -H "Authorization:bearer b064d95b-af3f-4053-a980-377c63ab3413" -X GET http://10.10.15.5:5556/order-service/api/order/getUserInfo;done

for i in $(seq 1 30000); do echo $(expr $i \\* 3 + 1);curl -i -H "Accept: application/json" -H "Authorization:bearer b064d95b-af3f-4053-a980-377c63ab3413" -X GET http://10.10.15.5:5556/admin-web/api/user/getCurrentUser;done

上面两个脚本分别对2个服务进行压测,打印结果:

HTTP/1.1 200 OK
transfer-encoding: chunked
X-RateLimit-Remaining: 2
X-RateLimit-Burst-Capacity: 3
X-RateLimit-Replenish-Rate: 1
Expires: 0
Cache-Control: no-cache, no-store, max-age=0, must-revalidate
Set-Cookie: ORDER-SERVICE-SESSIONID=R99Ljit9XvfCapyUJDWL8I0rZqxReoY6HwcQV2n2; path=/
X-XSS-Protection: 1; mode=block
Pragma: no-cache
X-Frame-Options: DENY
Date: Thu, 19 Mar 2020 06:32:27 GMT
X-Content-Type-Options: nosniff
Content-Type: application/json;charset=UTF-8

{"message":{"status":200,"code":0,"message":"success"},"data":"{\"message\":{\"status\":200,\"code\":0,\"message\":\"get user success\"},\"data\":{\"id\":23,\"isAdmin\":1,\"userId\":\"fbb18810-e980-428c-932f-848f3b9e7c84\",\"userType\":\"super_admin\",\"username\":\"admin\",\"realName\":\"super_admin\",\"password\":\"$2a$10$89AqlYKlnsTpNmWcCMvgluRFQ/6MLK1k/nkBpz.Lw6Exh.WMQFH6W\",\"phone\":null,\"email\":null,\"createBy\":\"admin\",\"createTime\":1573119753172,\"updateBy\":\"admin\",\"updateTime\":1573119753172,\"loginTime\":null,\"expireTime\":null,\"remarks\":\"super_admin\",\"delFlag\":0,\"loginType\":null}}"}ex

同一秒内多次后:

HTTP/1.1 429 Too Many Requests
X-RateLimit-Remaining: 0
X-RateLimit-Burst-Capacity: 3
X-RateLimit-Replenish-Rate: 1
content-length: 0

expr: syntax error

HTTP/1.1 429 Too Many Requests
X-RateLimit-Remaining: 0
X-RateLimit-Burst-Capacity: 3
X-RateLimit-Replenish-Rate: 1
content-length: 0

expr: syntax error

从上面可以看到,执行后,会出现调用失败的情况,状态变为429 (Too Many Requests) 。

二、基于阿里开源限流神器:Sentinel

首先引入依赖:

<!--基于 阿里的sentinel作限流 -->
    <dependency>
          <groupId>com.alibaba.cloud</groupId>
          <artifactId>spring-cloud-starter-alibaba-sentinel</artifactId>
    </dependency>

在配置文件 application.yaml 文件中配置,需要新增2个配置:

spring:
  application:
    name: admin-web
  cloud:
    kubernetes:
      discovery:
        all-namespaces: true
    sentinel:
      eager: true #取消Sentinel控制台的懒加载
      transport:
        dashboard: 10.12.15.2:8080 #sentinel的Dashboard地址
        port: 8719 #是sentinel应用端和控制台通信端口
        heartbeat-interval-ms: 500 #心跳时间
      scg:
        fallback: #scg.fallback为sentinel限流后的响应配置
          mode: response
          response-status: 455
          response-body: 已被限流

其中,这里面配置了一个服务:spring.cloud.sentinel.transport.dashboard

,配置的是 sentinel 的 Dashboard 地址。同时 spring.cloud.sentinel.transport

.port 这个端口配置会在应用对应的机器上启动一个 Http Server,该 Server 会与 Sentinel 控制台做交互。

Sentinel 默认为所有的 HTTP 服务提供限流埋点,上面配置完成后自动完成所有埋点,只需要控制配置限流规则即可。

这里我们讲下通过注解来给指定接口函数加上限流埋点,写一个RestController,在接口函数上加上注解 @SentinelResource:

@GetMapping(value = "/getToken")
@SentinelResource("getToken")
public Response<Object> getToken(Authentication authentication){
    //Authentication authentication = SecurityContextHolder.getContext().getAuthentication();
    authentication.getCredentials();
    OAuth2AuthenticationDetails details = (OAuth2AuthenticationDetails)authentication.getDetails();
    String token = details.getTokenValue();
    return Response.ok(200, 0, "get token success", token);
}

以上代码部分完成了,接下来先安装SentinelDashBoard,Sentinel DashBoard下载地址:https://github.com/alibaba/Sentinel/releases 。

下载完成后,命令启动:

java -jar sentinel-dashboard-1.6.2.jar

默认启动端口为8080,访问 IP:8080,就可以显示 Sentinel 的登录界面,用户名与密码均为sentinel。登录 Dashboard 成功后,多次访问接口"/getToken",可以在 Dashboard 看到相应数据,这里不展示了。接下来可以设置接口的限流功能,在 “+流控” 按钮点击打开设置界面,设置阈值类型为 qps,单机阈值为5。

浏览器重复请求 http://10.10.15.5:5556/admin-web/api/user/getToken 如果超过阀值就会出现如下界面信息:

Blocked by Sentinel (flow limiting)

此时,就看到Sentinel 限流起作用了,可以加上 spring.cloud.sentinel.scg.

fallback 为sentinel 限流后的响应配置,亦可自定义限流异常信息:

@GetMapping(value = "/getToken")
@SentinelResource(value = "getToken", blockHandler = "handleSentinelException", blockHandlerClass = {MySentinelException.class}))
public Response<Object> getToken(Authentication authentication){
    //Authentication authentication = SecurityContextHolder.getContext().getAuthentication();
    authentication.getCredentials();
    OAuth2AuthenticationDetails details = (OAuth2AuthenticationDetails)authentication.getDetails();
    String token = details.getTokenValue();
    return Response.ok(200, 0, "get token success", token);
}

public class MySentinelException {
    public static Response<Object> handleSentinelException(BlockException e) {
        Map<String,Object> map=new HashMap<>();
        logger.info("Oops: " + ex.getClass().getCanonicalName());
        return Response.ok(200, -8, "通过注解 @SentinelResource 配置限流埋点并自定义限流后的处理逻辑", null);
    }
}

这里讲下注解 @SentinelResource 包含以下属性:

value:资源名称,必需项;

entryType:入口类型,可选项(默认为 EntryType.OUT);

blockHandler:blockHandlerClass中对应的异常处理方法名,参数类型和返回值必须和原方法一致;

blockHandlerClass:自定义限流逻辑处理类

Sentinel 限流逻辑处理完毕了,但每次服务重启后,之前配置的限流规则就会被清空。因为是内存形式的规则对象。所以下面就讲下用 Sentinel 的一个特性 ReadableDataSource 获取文件、数据库或者配置中心设置限流规则,目前支持 Apollo、Nacos、ZK 配置来管理。

首先回忆一下,一条限流规则主要由下面几个因素组成:

resource:资源名,即限流规则的作用对象,即为注解 @SentinelResource 的value;

count:限流阈值;

grade:限流阈值类型(QPS 或并发线程数);

limitApp:流控针对的调用来源,若为 default 则不区分调用来源;

strategy:基于调用关系的限流策略;

controlBehavior:流量控制效果(直接拒绝、排队等待、匀速器模式)

理解了意思,接下来通过文件来配置:

#通过文件读取限流规则
spring.cloud.sentinel.datasource.ds1.file.file=classpath:flowrule.json
spring.cloud.sentinel.datasource.ds1.file.data-type=json
spring.cloud.sentinel.datasource.ds1.file.rule-type=flow

在resources新建一个文件,比如 flowrule.json 添加限流规则:

[
  {
    "resource": "getToken",
    "count": 1,
    "controlBehavior": 0,
    "grade": 1,
    "limitApp": "default",
    "strategy": 0
  },
  {
    "resource": "resource",
    "count": 1,
    "controlBehavior": 0,
    "grade": 1,
    "limitApp": "default",
    "strategy": 0
  }
]

重新启动项目,出现如下日志说明成功:

 [Sentinel Starter] DataSource ds1-sentinel-file-datasource start to loadConfig 
 [Sentinel Starter] DataSource ds1-sentinel-file-datasource load 2 FlowRule

如果采用 Nacos 作为配置获取限流规则,可在文件中加如下配置:

spring:
  application:
    name: order-service
  cloud:
    nacos:
      config:
        server-addr: 10.10.15.5:8848
      discovery:
        server-addr: 10.10.15.5:8848
    sentinel:
      eager: true
      transport:
        dashboard: 10.10.15.5:8080
      datasource:
        ds1:
          nacos:
            server-addr: 10.10.15.5:8848
            dataId: ${spring.application.name}-flow-rules
            data-type: json
            rule-type: flow

OK,到此基于 Spring cloud Gateway 的限流与基于 Sentinel 的限流逻辑实现完成,还有Spring cloud Zuul 基于 RateLimit 作限流处理,大都大同小异,这里就不赘述了。

本文分享自微信公众号 - 程序猿Damon(Damon4X),作者:Damon

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2020-03-21

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 今天被问微服务,这几点,让面试官刮目相看

    在金三银四的季节,不少人在换工作,也许在面试时,觉得技术交流的都不错,在跟HR交流时,薪资谈得也很得意,但是在离开之后,却一直没有HR联电的下文,似乎已经忘记,...

    程序猿Damon
  • 如何利用k8s拉取私有仓库镜像

    最近实战时,发现一个很奇怪的问题,在通过 k8s 创建 pod,拉取镜像时,总是显示如下信息:

    程序猿Damon
  • Docker常用命令,你都会了吗

    关于 docker 的安装,在 基础设施服务k8s快速部署之HA篇 一文中,你可以快速安装docker的各种版本。

    程序猿Damon
  • Sentinel 集群限流设计原理

    为了充分利用硬件的资源,诸如 Dubbo 都提供了基于权重的负载均衡机制,例如可以将8C16G的机器设置的权重是4C8G的两倍,这样充分利用硬件资源,假如现在需...

    丁威
  • Spring Cloud 入门教程9、服务限流/API限流(Zuul+RateLimiter)

    RateLimiter是Google开源的实现了令牌桶算法的限流工具(速率限制器)。http://ifeve.com/guava-ratelimiter/

    KenTalk
  • 微服务-高并发下接口如何做到优雅的限流

    通俗的来讲,一根管子往池塘注水,池塘底部有一个口子往外出水,当注水的速度过快时,池塘的水会溢出,此时,我们的做法换根小管子注水或者把注水管子的口堵住一半,这就是...

    阿伟
  • Sentinel的基本应用

    目标:Sentinel的基本应用 工具:IDEA--2020.1、Sentinel Maven 学习目标:学习Sentinel的限流设置 本次学习的工程下载链接...

    背雷管的小青年
  • 限流问题 转

    之前没有充分搞清楚「限流」和「熔断」的关系。我们先来思考一个问题,生活中也有限流,为什么国庆春节长假热门景点要限流?而不是一早先开几小时,如果人多了就关几小时,...

    chinotan
  • 电商系统中的秒杀高并发单机限流实战

    今天,抽空,我给大家介绍一下限流。目前关于限流的框架和工具都比较多,比如 Redis、阿里的 Sentinel、Nginx、OpenResty 等。今天我先给大...

    业余草
  • 分布式环境下限流方案的实现redis RateLimiter Guava,Token Bucket, Leaky Bucket

    对于web应用的限流,光看标题,似乎过于抽象,难以理解,那我们还是以具体的某一个应用场景来引入这个话题吧。在日常生活中,我们肯定收到过不少不少这样的短信,“双1...

    用户6182664

扫码关注云+社区

领取腾讯云代金券