专栏首页顶级程序员高并发系统限流中的漏桶算法和令牌桶算法,通过流量整形和速率限制提升稳定性

高并发系统限流中的漏桶算法和令牌桶算法,通过流量整形和速率限制提升稳定性

转自互联网金融小站(internet-sky) 已获作者授权,拒绝二次转载

在大数据量高并发访问时,经常会出现服务或接口面对暴涨的请求而不可用的情况,甚至引发连锁反映导致整个系统崩溃。此时你需要使用的技术手段之一就是限流,当请求达到一定的并发数或速率,就进行等待、排队、降级、拒绝服务等。在限流时,常见的两种算法是漏桶和令牌桶算法算法,本文即对相关内容进行重点介绍。

一、漏桶和令牌桶算法的概念

漏桶算法(Leaky Bucket):主要目的是控制数据注入到网络的速率,平滑网络上的突发流量。漏桶算法提供了一种机制,通过它,突发流量可以被整形以便为网络提供一个稳定的流量。漏桶算法的示意图如下:

请求先进入到漏桶里,漏桶以一定的速度出水,当水请求过大会直接溢出,可以看出漏桶算法能强行限制数据的传输速率。

令牌桶算法(Token Bucket):是网络流量整形(Traffic Shaping)和速率限制(Rate Limiting)中最常使用的一种算法。典型情况下,令牌桶算法用来控制发送到网络上的数据的数目,并允许突发数据的发送。令牌桶算法示意图如下所示:

大小固定的令牌桶可自行以恒定的速率源源不断地产生令牌。如果令牌不被消耗,或者被消耗的速度小于产生的速度,令牌就会不断地增多,直到把桶填满。后面再产生的令牌就会从桶中溢出。最后桶中可以保存的最大令牌数永远不会超过桶的大小。

二、两种算法的区别

两者主要区别在于“漏桶算法”能够强行限制数据的传输速率,而“令牌桶算法”在能够限制数据的平均传输速率外,还允许某种程度的突发传输。在“令牌桶算法”中,只要令牌桶中存在令牌,那么就允许突发地传输数据直到达到用户配置的门限,所以它适合于具有突发特性的流量。

三、使用Guava的RateLimiter进行限流控制

Guava是google提供的java扩展类库,其中的限流工具类RateLimiter采用的就是令牌桶算法。RateLimiter 从概念上来讲,速率限制器会在可配置的速率下分配许可证,如果必要的话,每个acquire() 会阻塞当前线程直到许可证可用后获取该许可证,一旦获取到许可证,不需要再释放许可证。通俗的讲RateLimiter会按照一定的频率往桶里扔令牌,线程拿到令牌才能执行,比如你希望自己的应用程序QPS不要超过1000,那么RateLimiter设置1000的速率后,就会每秒往桶里扔1000个令牌。例如我们需要处理一个任务列表,但我们不希望每秒的任务提交超过两个,此时可以采用如下方式:

有一点很重要,那就是请求的许可数从来不会影响到请求本身的限制(调用acquire(1) 和调用acquire(1000) 将得到相同的限制效果,如果存在这样的调用的话),但会影响下一次请求的限制,也就是说,如果一个高开销的任务抵达一个空闲的RateLimiter,它会被马上许可,但是下一个请求会经历额外的限制,从而来偿付高开销任务。注意:RateLimiter 并不提供公平性的保证。

四、使用Semphore进行并发流控

Java 并发库的Semaphore 可以很轻松完成信号量控制,Semaphore可以控制某个资源可被同时访问的个数,通过 acquire() 获取一个许可,如果没有就等待,而 release() 释放一个许可。单个信号量的Semaphore对象可以实现互斥锁的功能,并且可以是由一个线程获得了“锁”,再由另一个线程释放“锁”,这可应用于死锁恢复的一些场合。下面的Demo中申明了一个只有5个许可的Semaphore,而有20个线程要访问这个资源,通过acquire()和release()获取和释放访问许可:

最后:进行限流控制还可以有很多种方法,针对不同的场景各有优劣,例如通过AtomicLong计数器控制、使用MQ消息队列进行流量消峰等等。

—————END—————

看完本文有意思?请分享给更多人

本文分享自微信公众号 - 顶级程序员(TopCoding),作者:李文锴

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2017-03-24

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 2017开发者技术和薪酬调查报告

    世界著名的IT技术问答网站 StackOverflow 发布了一篇 2017 开发者调查报告,据悉全球有 64,000多名开发者参与了此项调查,调查维度包括技...

    顶级程序员
  • 传奇数学家斯梅尔

    源 / 《数学文化》 当代富有色彩的著名数学家,首推长期工作在美国加州伯克利大学的史蒂芬 • 斯梅尔(Stephen Smale)教授。国内一般学术刊物介绍科学...

    顶级程序员
  • 用Python画一个中国地图

    先来聊聊为什么做数据分析一定要用Python或R语言。编程语言这么多种,Java, PHP都很成熟,但是为什么在最近热火的数据分析领域,很多人选择用Python...

    顶级程序员
  • 流量调整和限流技术

    在早期的计算机领域,限流技术(time limiting)被用作控制网络接口收发通信数据的速率。 可以用来优化性能,减少延迟和提高带宽等。 现在在互联网领域,也...

    张善友
  • 接口限流算法:漏桶算法&令牌桶算法。

    背景 每一个对外提供的API接口都是需要做流量控制的,不然会导致系统直接崩溃。很简单的例子,和保险丝的原理一样,如果用电符合超载就会烧断保险丝断掉电源以达到保护...

    Java技术栈
  • 限流是解决高并发大流量的一种方案,至少是可以保证应用的可用性

    限流是解决高并发大流量的一种方案,至少是可以保证应用的可用性。 通常有以下两种限流方案: - 漏桶算法 - 令牌桶算法

    爱明依
  • 智能调度 与 蚁群算法

    我在前面的一篇文章《浅谈资源管理技术的未来发展之路》之中谈到,资源管理还需要完善三个方面的能力分别是: 1、完善资源使用收集反馈机制,资源分配出去之后,使用率怎...

    大数据和云计算技术
  • “易老板”、“价格战”等三拼域名相继结拍

    域名的好坏有一个评判标注:只要符合品牌的宣传和推广,符合我们中国人的搜索习惯,简单易记就是最好的

    躲在树上的域小名
  • 人工智能神经网络——Google节能新方案

    数据中心是典型的能量黑洞,一个二十万台服务器的数据中心,可能体积不大,但能耗却相当于一个五十万人口规模的小型城市!Google作为互联网行业巨头...

    腾讯数据中心
  • 自由流动的世界

    今天,我才得知美国最近有一条颇为轰动的消息。 5月10日,美国加州帕萨迪纳郡的社区媒体pasadenanow.com宣布,他们将在印度雇用两个记者,报道社区...

    ruanyf

扫码关注云+社区

领取腾讯云代金券