40. 高并发场景下如何实现系统限流

为什么需要限流?以及常见的限流算法有哪些?

常见限流算法

限流通过限制系统的流量,从而实现保护系统的目的
限流需要结合容量规划和压测来进行
当外部请求接近或达到系统的最大阈值时,触发限流,采取其他的手段进行降级
常见的降级策略包括 延迟处理,拒绝服务,随机拒绝等

比如Java 线程池在任务满的情况下,可以配置不同的拒绝策略

  • AbortPolicy——丢弃任务并抛出异常
  • DiscardPolicy——丢弃任务,不抛出异常
  • DiscardOldestPolicy

如何判断当前的流量已经达到我们设置的最大值?

计数器法

进行限流时使用的是单位时间内的请求数,也就是 QPS。统计 QPS 最直接的想法是实现一个计数器

  • 单点限流使用内存
  • 集群限流可以用一个单独的存储节点,比如 Redis 或者 Memcached 进行存储,在固定的时间间隔内设置过期时间

计数器策略缺点——对临界流量不友好,限流不够平滑

假设限制用户一分钟下单不超过10万次,在两个时间窗口的交汇点,前后一秒钟内,分别发送10万次请求
这个峰值可能会超过系统阈值,影响服务稳定性
对计数器算法的优化——避免出现两倍窗口限制的请求,使用滑动窗口算法实现

漏桶和令牌桶算法

漏桶算法是从出口处限制请求速率,请求曲线始终平滑
漏桶算法的一个核心问题——对请求的过滤太精准了

在令牌桶算法中,假设有一个大小恒定的桶,这个桶的容量和设定的阈值有关
通过一个固定的速率,往里面放入令牌,如果桶满了,就把令牌丢掉
最后桶中可以保存的最大令牌数永远不会超过桶的大小
当有请求进入时,尝试从桶里取走一个令牌,如果桶是空的,这个请求就会被拒绝
在 Guava 中,限制策略的工具类 RateLimiter——基于令牌桶算法实现流量限制

不同限流算法的比较

计数器算法适合集群情况下使用,但要考虑临界情况,可以应用滑动窗口策略进行优化

  • 漏桶算法提供了比较严格的限流
  • 令牌桶算法在限流之外,允许一定程度的突发流量
©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成,浏览时请结合常识与多方信息审慎甄别。
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

相关阅读更多精彩内容

友情链接更多精彩内容