我们已经有了足够的背景知识，可以开始研究有边界和无边界数据处理中常见的主流类型：批处理和流处理。（在此我将微批处理和流处理相互等价，因为两者之间的差异在数据处理模式层面上并不大）
限流器是在大流量中保护服务资源的一种常用手段。限流器的实现有令牌桶方式、固定窗口限流器和滑动窗口限流器。本文介绍了基于Redis如何快速的实现固定窗口限流器。
之前有了解到z哥的一部分读者们没有充分搞清楚「限流」和「熔断」的关系。我们先来思考一个问题，生活中也有限流，为什么国庆春节长假热门景点要限流？而不是一早先开几小时，如果人多了就关几小时，人少了就再开呢？其实这就是限流和熔断表象上的一个区别。
限流是指在系统面临高并发、大流量请求的情况下，限制新的流量对系统的访问，从而保证系统服务的安全性。常用的限流算法有计数器固定窗口算法、滑动窗口算法、漏斗算法和令牌桶算法，下面将对这几种算法进行分别介绍，并给出具体的实现。本文略长，读者可以全文阅读，同样也可以只看感兴趣的部分。
计数器算法是限流算法里最简单也是最容易实现的一种算法。比如我们规定，对于A接口来说，我们1分钟的访问次数不能超过100个。那么我们可以这么做：在一开 始的时候，我们可以设置一个计数器counter，每当一个请求过来的时候，counter就加1，如果counter的值大于100并且该请求与第一个 请求的间隔时间还在1分钟之内，那么说明请求数过多；如果该请求与第一个请求的间隔时间大于1分钟，且counter的值还在限流范围内，那么就重置 counter。
之前没有充分搞清楚「限流」和「熔断」的关系。我们先来思考一个问题，生活中也有限流，为什么国庆春节长假热门景点要限流？而不是一早先开几小时，如果人多了就关几小时，人少了就再开呢？其实这就是限流和熔断表象上的一个区别。有熔断机制的系统，它对可用性的作用至少保证了不会全盘崩溃。但是你可以想象一个稍微极端一点的场景，如果系统流量不是很稳定，导致频繁触发熔断的话，是不是意味着系统一直熔断的三种状态中不断切换。 从容断，半开，非熔 导致的结果是每次从开启熔断到关闭熔断的期间，必然会导致大量的用户无法正常使用。系统层面的可用性大致是这样的。 另外，从资源利用率上也会很容易发现，波谷的这段时期资源是未充分利用的。 由此可见，光有熔断是远远不够的。 在高压下，只要系统没宕机，如果能将接收的流量持续保持在高位，但又不超过系统所能承载的上限，会是更有效率的运作模式，因为会将这里的波谷填满。 在如今的互联网已经作为社会基础设施的大环境下，上面的这个场景其实离我们并不是那么远，同时也会显得没那么极端。例如，层出不穷的营销玩法，一个接着一个的社会热点，以及互联网冰山之下的黑产、刷子的蓬勃发展，更加使得这个场景变的那么的需要去考虑、去顾忌。因为随时都有可能会涌入超出你预期的流量，然后压垮你的系统。
分享一篇关于实时流式计算的经典文章，这篇文章名为Streaming 101: The world beyond batch
最近在参与一个识别热点数据的需求开发。其中涉及了限流算法相关的内容。所以这里记录一下自己了解的各种限流算法，以及各个限流算法的实现。
限速器 (Rate Limiter) 相信大家都不会陌生，在网络系统中，限速器可以控制客户端发送流量的速度，比如 TCP, QUIC 等协议。而在 HTTP 的世界中， 限速器可以限制客户端在一段时间内发送请求的次数，如果超过设定的阈值，多余的请求就会被丢弃。
这种方式可以缓解突发流量对系统的影响，缺点是在流量突发时，由于队列中缓存了旧的请求，导致无法处理新的请求。而且也无法保证请求能够在一定时间内处理完毕。 令牌桶不会缓存请求，它通过颁发令牌的方式来允许请求，因此它存在和漏桶算法一样的问题。
将时间划分为多个窗口，窗口内出现一次请求就将计数器加一，如果计数器超过了限制数量，则本窗口内后续请求都被丢弃当，时间到达下一个窗口时，计数器重置。
上一篇文章 go-zero 是如何做路由管理的？ 介绍了路由管理，这篇文章来说说限流，主要介绍计数器限流算法，具体的代码实现，我们还是来分析微服务框架 go-zero 的源码。
在指定周期内累加访问次数，当访问次数达到设定的阈值时，触发限流策略，当进入下一个时间周期时进行访问次数的清零。如图所示，我们要求3秒内的请求不要超过150次：
「服务限流」通过限制每个用户调用 API 的频率来保护服务不被过度调用。在没有限流的情况下，每个用户可以随意请求服务 API，这可能引起流量尖峰导致其他用户的请求无法被处理。启用服务限流后，可以限制 API 每周期可被调用的次数。
该算法将时间分为固定的窗口，例如每秒、每分钟或每小时等。在每个窗口内，设定一个固定的请求限制数。如果窗口内的请求数超过了限制数，那么多余的请求将被丢弃或延迟处理
随着微服务的流行，服务之间的依赖性和调用关系变得越来越复杂，服务的稳定性变得尤为重要。业务场景中经常会涉及到瞬时流量冲击，可能会导致请求响应超时，甚至服务器被压垮、宕机不可用。出于对系统本身和上下游服务的保护，我们通常会对请求进行限流处理，快速拒绝超出配置上限的请求，保证系统或上下游服务系统的稳定。合理策略能有效应对流量冲击，确保系统可用性和性能。本文详细介绍了几种限流算法，比较各个算法的优缺点，给出了限流算法选型的一些建议，同时对业务上常用的分布式限流也提出一些解决方案。
根据《熔断机制》可以知道，熔断有三种状态，[熔断关闭],[半熔断],[熔断开启]三种状态，如果系统压力过大，一个服务就会在三种状态来回切换
代码下载地址：https://github.com/f641385712/netflix-learning
在日益增长的网络应用中，请求过多的情况是导致服务器崩溃或应用程序宕机的主要原因之一。流量控制技术是这种情况下的一种重要手段，其中限流算法是最常用的一种技术。限流算法不仅可以有效控制网络流量，还可以保障应用程序的可用性和稳定性。在本篇文章中，我们将探讨限流算法的相关概念、为什么我们需要限流以及可以选择哪些限流算法来帮助我们处理高并发的流量。
这三把"利器"各有其特点，通常会结合使用，以达到最佳的效果。例如，可以通过缓存来减少数据库的访问，通过降级来应对系统故障，通过限流来防止系统过载。在设计高并发系统时，需要根据系统的具体需求和特点，合理地使用这些技术。接下来本文会主要介绍一些业界常用的限流方法。
使用计数器在周期内累加访问次数，当达到设定的限流值时，触发限流策略，缺点：时间窗口固定，可能不准确，比如我们时间窗口宽度是1分钟，限制100qps，那么0~30s 10qps,30~90s 90qps,1min.00s~1min.30s 80qps ,1min.30s~2min 20qps，那么其实如果我们窗口从00s开始，01min，12min都是100qps看起来没问题，但是0.30s~1.30s qps达到了170qps，这就突破了我们的流控；
速率限制是指防止操作的频率超过定义的限制。在大型系统中，速率限制通常用于保护底层服务和资源。速率限制一般在分布式系统中作为一种防御机制，使共享资源能够保持可用性。
笔者最早接触滑动窗口是滑动窗口协议，滑动窗口协议（Sliding Window Protocol），属于 TCP 协议的一种应用，用于网络数据传输时的流量控制，以避免拥塞的发生。发送方和接收方分别有一个窗口大小 w1 和 w2。窗口大小可能会根据网络流量的变化而有所不同，但是在更简单的实现中它们是固定的。窗口大小必须大于零才能进行任何操作。
最近，我们的业务系统引入了Guava的RateLimiter限流组件，它是基于令牌桶算法实现的,而令牌桶是非常经典的限流算法。本文将跟大家一起学习几种经典的限流算法。
今天来说说限流的相关内容，包括常见的限流算法、单机限流场景、分布式限流场景以及一些常见限流组件。
在业务迭代开发过程中，系统的稳定性和可靠性变得越来越重要，其中，限流算法是一种非常重要的技术手段之一。
点击上方“芋道源码”，选择“设为星标” 管她前浪，还是后浪？ 能浪的浪，才是好浪！ 每天 10:33 更新文章，每天掉亿点点头发... 源码精品专栏 原创 | Java 2021 超神之路，很肝~ 中文详细注释的开源项目 RPC 框架 Dubbo 源码解析 网络应用框架 Netty 源码解析 消息中间件 RocketMQ 源码解析 数据库中间件 Sharding-JDBC 和 MyCAT 源码解析 作业调度中间件 Elastic-Job 源码解析 分布式事务中间件 TCC-Transaction
尽管这些业务需求驱动了流式处理的发展，但与批处理相比，现有的流式处理系统仍然相对不成熟，这使得该领域最近产生了许多令人兴奋的发展。在本篇文章将会介绍一些基本的背景信息，再深入了解有关时间详细信息之前先明确饿一些术语的真实含义，并对批处理和流式处理的常用方法进行一些高层次的概述。
日志解析：https://github.com/logpai/logparser 异常检测：https://github.com/logpai/loglizer 预备知识：需要对逻辑回归、决策树、SVM、PCA、聚类等有一些了解 论文原文： https://github.com/AmateurEvents/article/blob/master/System-Log-Analysis-for-Anomaly-Detection.pdf
限流器是一种防御性的编程实现方式，防止一个大型的分布式系统在不可预知的大流量到来的时候导致系统大规模故障。
小明今天上班，看到最近开的促销活动，发现后台日志有很多重复调用的请求数据，而且还是同个用户的，这个人也抢了很多活动商品，导致其他用户都没法购买到。很显热，活动接口被刷爆了，马上跟大佬商量，十分慌张，大佬说，要加一下限流，做一下防刷处理，缓解一下后台服务。但是，刚入职场的小明，还不了解限流是个啥，无从下手。
限流算法经典的一般有四种：计数器（固定窗口）算法、滑动窗口算法、漏桶算法、令牌桶算法。
假设单位时间是一秒，限流阈值为3。在单位时间1秒内，每来一个请求，计数器就加1，如果计数器累加的次数超过限流阈值3，则后续的请求全部拒绝。等到1s结束后，计数器清零，重新开始计数。
缓存比较好理解，在大型高并发系统中，如果没有缓存数据库将分分钟被爆，系统也会瞬间瘫痪。使用缓存不单单能够提升系统访问速度、提高并发访问量，也是保护数据库、保护系统的有效方式。大型网站一般主要是“读”，缓存的使用很容易被想到。在大型“写”系统中，缓存也常常扮演者非常重要的角色。比如累积一些数据批量写入，内存里面的缓存队列（生产消费），以及HBase写数据的机制等等也都是通过缓存提升系统的吞吐量或者实现系统的保护措施。甚至消息中间件，你也可以认为是一种分布式的数据缓存。
2020-10-29：使用redis实现分布式限流组件，要求高并发场景同一IP一分钟内只能访问100次，超过限制返回异常，写出实现思路或伪代码均可。
这种算法很好实现， 但是会出现限流不准确问题。比如每秒通过 5 个请求，时间窗口的大小为 1 秒，当前时间窗口周期内的后半秒正常通过了 5 个请求，下一个时间窗口周期内的前半秒正常通过了 5 个请求，在这两个窗口内都没有超过限制。 但是在这两个窗口的中间那一秒实际上通过了 10 个请求，显然不满足每秒 5 个请求的限制。
在我们构建和优化高并发系统时，往往会遇到需要对服务的请求数进行限制的需求。这是因为无论服务多么强大，其处理能力总是有限的。超出处理能力的请求可能会导致服务过载，进而影响到整个系统的稳定性。对于这种情况，我们可以采用限流的方式来控制进入服务的请求数量，以保证服务的稳定运行。其中，滑动窗口模式是一种常见的限流算法。
今日，流式数据处理是大数据里的很重要一环。原因有不少，其中包括： 商业（竞争）极度渴望更快的数据，而转换成流计算则是一个好的方法来降低延迟。 海量的、无穷数据集在现在的商业环境里变的越来越常见，而用专门设计来处理这样数据的系统来应对这些数据则更为容易。 在数据到达时就对他们进行处理能够更加平均地把负载进行均衡，取得更好的一致性和更可预测的计算资源消耗。 尽管业务驱动带来了对流计算兴趣的猛增，但绝大部分现有的流计算系统相比于批处理还不够成熟，而后者已经产生了很多令人激动的、多产的应用。 作为从事海量大规模流计
在上一篇架构师成长之路之服务治理漫谈里面，我们已经谈到了高可用治理的部分。为了“反脆弱”，在微服务复杂拓扑的情况下，限流是保障服务弹性和拓扑健壮的重中之重。
计数器算法是使用计数器在周期内累加访问次数，当达到设定的限流值时，触发限流策略。下一个周期开始时，进行清零，重新计数。 对于秒级以上的时间周期来说，会存在一个非常严重的问题，那就是临界问题
前文，我们分享了限流算法中的固定窗口限流算法、滑动窗口算法、漏桶限流算法及它们的实践。今天分享一个实践中最常用的限流算法：令牌桶算法。
一般限流器有五种算法，分别是：令牌桶，漏斗桶，固定窗口，滑动日志（指的其实是广义上的滑动窗口），滑动窗口（这里指的是滑动日志+固定窗口结合的一种算法）。
之前开发的一款基于OpenTelemetry的Tracing组件需要使用基于速率限制（Rate Limiting）的跟踪采样策略，本想使用现有的解决方案，比如System.Threading.RateLimiting命名空间下的RateLimiter。大体看了RateLimiter的三种实现（固定窗口、滑动窗口和令牌桶），觉得过于相对复杂了点，代码还涉及到锁，而且提供的功能我也不太需要，于是尝试实现一种简单且无锁解决方案。
我们在日常生活中，就有很多限流的例子，比如地铁站在早高峰的时候，会利用围栏让乘客们有序排队，限制队伍行进的速度，避免大家一拥而上；再比如在疫情期间，很多景点会按时段限制售卖的门票数量，避免同一时间在景区的游客太多等等。
一个流量治理组件通常拥有“限流”这个最基础的能力，实现限流其核心思想是通过统计一段时间内的请求数，然后根据预先设定的阈值判断是否应该进行限流
《Streaming Systems》第四章相较于前三个章节更为复杂，倘若不是作者给出了大量的动图，恐怕大部分读者都会晕乎乎的了吧（所以强烈建议这一章观看Safari上的动图或者是Streaming 102）。
在现在的互联网系统中有很多业务场景，比如商品秒杀、下单、数据查询详情，其最大特点就是高并发，但是我们的系统通常不能承受这么大的流量，继而产生了很多的应对措施：消息队列、多级缓存、异地多活。但是无论如何优化，由于硬件的物理特性决定了我们系统性能的上限，如果强行接收所有请求，往往造成服务雪崩，导致服务的不可用，这个时候服务限流就成为我们必不可少的一个手段了。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM
