分布式高并发限流系统应用设计

高并发系统时有三把利器用来保护系统：缓存、降级和限流。

缓存

缓存比较好理解，在大型高并发系统中，如果没有缓存数据库将分分钟被爆，系统也会瞬间瘫痪。使用缓存不单单能够提升系统访问速度、提高并发访问量，也是保护数据库、保护系统的有效方式。大型网站一般主要是“读”，缓存的使用很容易被想到。在大型“写”系统中，缓存也常常扮演者非常重要的角色。比如累积一些数据批量写入，内存里面的缓存队列（生产消费），以及HBase写数据的机制等等也都是通过缓存提升系统的吞吐量或者实现系统的保护措施。甚至消息中间件，你也可以认为是一种分布式的数据缓存。

降级

服务降级是当服务器压力剧增的情况下，根据当前业务情况及流量对一些服务和页面有策略的降级，以此释放服务器资源以保证核心任务的正常运行。降级往往会指定不同的级别，面临不同的异常等级执行不同的处理。根据服务方式：可以拒接服务，可以延迟服务，也有时候可以随机服务。根据服务范围：可以砍掉某个功能，也可以砍掉某些模块。总之服务降级需要根据不同的业务需求采用不同的降级策略。主要的目的就是服务虽然有损但是总比没有好。

限流

限流可以认为服务降级的一种，限流就是限制系统的输入和输出流量已达到保护系统的目的。一般来说系统的吞吐量是可以被测算的，为了保证系统的稳定运行，一旦达到的需要限制的阈值，就需要限制流量并采取一些措施以完成限制流量的目的。比如：延迟处理，拒绝处理，或者部分拒绝处理等等。

一丶限流方式

限制总并发数（比如数据库连接池、线程池）

限制瞬时并发数（如nginx的limit_conn模块，用来限制瞬时并发连接数）

限制时间窗口内的平均速率（如Guava的RateLimiter、nginx的limit_req模块，限制每秒的平均速率）

限制远程接口调用速率

限制MQ的消费速率。

可以根据网络连接数、网络流量、CPU或内存负载等来限流

限流算法

令牌桶

漏桶

计数器

有时候我们还使用计数器来进行限流，主要用来限制总并发数，比如数据库连接池、线程池、秒杀的并发数；只要全局总请求数或者一定时间段的总请求数设定的阀值则进行限流，是简单粗暴的总数量限流，而不是平均速率限流

令牌桶vs漏桶

令牌桶限制的是平均流入速率，允许突发请求，并允许一定程度突发流量

漏桶限制的是常量流出速率，从而平滑突发流入速率

二丶应用级别限流

限流总并发/连接/请求数

如果你使用过Tomcat，其Connector其中一种配置有如下几个参数:

acceptCount:如果Tomcat的线程都忙于响应，新来的连接会进入队列排队，如果超出排队大小，则拒绝连接

maxConnections:瞬时最大连接数，超出的会排队等待

maxThreads:Tomcat能启动用来处理请求的最大线程数，如果请求处理量一直远远大于最大线程数则可能会僵死

限流总资源数

可以使用池化技术来限制总资源数：连接池、线程池。比如分配给每个应用的数据库连接是100，那么本应用最多可以使用100个资源，超出了可以等待或者抛异常

限流某个接口的总并发/请求数

可以使用Java中的AtomicLong，示意代码：

try{

if(atomic.incrementAndGet() > 限流数) {

//拒绝请求

}

//处理请求

}finally{

atomic.decrementAndGet();

}

限流某个接口的时间窗请求数

使用Guava的Cache,示意代码：

LoadingCache counter =

CacheBuilder.newBuilder()

.expireAfterWrite(2, TimeUnit.SECONDS)

.build(newCacheLoader() {

@Override

publicAtomicLong load(Long seconds)throwsException {

return newAtomicLong(0);

}

});

longlimit =1000;

while(true) {

//得到当前秒longcurrentSeconds = System.currentTimeMillis() /1000;

if(counter.get(currentSeconds).incrementAndGet() > limit) {

continue;

}

//业务处理

}

平滑限流某个接口的请求数

之前的限流方式都不能很好地应对突发请求，即瞬间请求可能都被允许从而导致一些问题；因此在一些场景中需要对突发请求进行整形，整形为平均速率请求处理

Guava框架提供了令牌桶算法实现

Guava RateLimiter提供了令牌桶算法实现：平滑突发限流(SmoothBursty)和平滑预热限流(SmoothWarmingUp)实现

平滑突发限流(SmoothBursty)

RateLimiter limiter = RateLimiter.create(5);

将得到类似如下的输出：

0.0

0.198239

0.196083

0.200609

0.199599

0.19961

limiter.acquire(5)表示桶的容量为5且每秒新增5个令牌

平滑预热限流(SmoothWarmingUp)

RateLimiter limiter = RateLimiter.create(5,1000, TimeUnit.MILLISECONDS);

for(inti =1; i

}

Thread.sleep(1000L);

for(inti =1; i

}

将得到类似如下的输出：

0.0

0.51767

0.357814

0.219992

0.199984

0.0

0.360826

0.220166

0.199723

0.199555

SmoothWarmingUp创建方式：RateLimiter.create(doublepermitsPerSecond, long warmupPeriod, TimeUnit unit)

permitsPerSecond表示每秒新增的令牌数，warmupPeriod表示在从冷启动速率过渡到平均速率的时间间隔。

速率是梯形上升速率的，也就是说冷启动时会以一个比较大的速率慢慢到平均速率；然后趋于平均速率（梯形下降到平均速率）。可以通过调节warmupPeriod参数实现一开始就是平滑固定速率。

三丶分布式限流

分布式限流最关键的是要将限流服务做成原子化,而解决方案可以使使用redis+lua或者nginx+lua技术进行实现

四丶接入层限流

接入层通常指请求流量的入口，该层的主要目的有：负载均衡、非法请求过滤、请求聚合、缓存、降级、限流、A/B测试、服务质量监控等等

对于Nginx接入层限流可以使用Nginx自带了两个模块：连接数限流模块ngx_http_limit_conn_module和漏桶算法实现的请求限流模块ngx_http_limit_req_module。还可以使用OpenResty提供的Lua限流模块lua-resty-limit-traffic进行更复杂的限流场景。

limit_conn用来对某个KEY对应的总的网络连接数进行限流，可以按照如IP、域名维度进行限流。

limit_req用来对某个KEY对应的请求的平均速率进行限流，并有两种用法：平滑模式（delay）和允许突发模式(nodelay)。

OpenResty提供的Lua限流模块lua-resty-limit-traffic进行更复杂的限流场景。