限流详解
在开发高并发系统时，有很多手段来保护系统，如缓存、降级和限流等。缓存目的是提升系统访问速度和增大系统处理能力，可谓是抗高并发流量的银弹。而降级是当服务出问题或者影响到核心流程的性能，需要暂时屏蔽掉，待高峰过去或者问题解决后再打开的场景。而有些场景并不能用缓存和降级来解决，比如稀缺资源(秒杀、抢购)、写服务(如评论、下单)、频繁的复杂查询(评论的最后几页)等。因此，需有一种手段来限制这些场景下的并发/请求量，这种手段就是限流。
限流的目的
是通过对并发访问/请求进行限速或者一个时间窗口内的请求进行限速来保护系统，一旦达到限制速率则可以拒绝服务(定向到错误页或告知资源没有了).排队或等待(比如秒杀、评论、下单)、降级(返回兜底数据或默认数据，如商品详情页库存默认有货)。在压测时我们能找出每个系统的处理峰值,然后通过设定峰值阈值，来防止当系统过载时，通过拒绝处理过载的请求来保障系统可用。另外，也应根据系统的吞吐量、响应时间、可用率来动态调整限流阈值。
开发高并发系统常见的限流
限制总并发数(比如数据库连接池、线程池)、限制瞬时并发数( 如Nginx的limit, _conn 模块，用来限制瞬时并发连接数)、限制时间窗口内的平均速率(如Guava的RateLimiter、Nginx 的limit. req模块，用来限制每秒的平均速率)，以及限制远程接口调用速率、限制MQ的消费速率等。另外，还可以根据网络连接数、网络流量、CPU 或内存负载等来限流。
先有缓存这个银弹，后有限流来应对618、双11高并发流量，在处理高并发问题上可以说是如虎添翼，不用担心瞬间流量导致系统挂掉或雪崩，最终做到有损服务而不是不服务。限流需要评估好，不可乱用，否则正常流量会出现一些奇怪的问题， 而导致用户抱怨。
在实际应用时，也不要太纠结算法问题，因为一些限流算法实现是一样的， 只是描述不一样。具体使用哪种限流技术，还是要根据实际场景来选择，不要一味去找最佳模式，白猫黑猫能解决问题的就是好猫。
限流算法
常见的限流算法有:令牌桶、漏桶。计数器也可以用来进行粗暴限流实现。
令牌桶算法
令牌桶算法，是一个存放固定容量令牌的桶，按照固定速率往桶里添加令牌。令牌桶算法的描述如下。
假设限制2r/s,则按照500毫秒的固定速率往桶中添加令牌。
桶中最多存放b个令牌，当桶满时，新添加的令牌被丢弃或拒绝。
当一个n个字节大小的数据包到达，将从桶中删除n个令牌，接着数据包被发送到网络上。
如果桶中的令牌不足n个,则不会删除令牌，且该数据包将被限流(要么丢弃，.要么在缓冲区等待)。
漏桶算法
漏桶作为计量工具(The Leaky Bucket Algorithm as a Meter)时，可以用于流量整形( Traffic Shaping)和流量控制(Traffic Policing)， 漏桶算法的描述如下。
一个固定容量的漏桶，按照常量固定速率流出水滴。
如果桶是空的，则不需流出水滴。
可以以任意速率流入水滴到漏桶。
如果流入水滴超出了桶的容量，则流入的水滴溢出了(被丢弃)，而漏桶容量是不变的。
令牌桶和漏桶算法对比如下：
令牌桶是按照固定速率往桶中添加令牌，请求是否被处理需要看桶中令牌是否足够，当令牌数减为零时，则拒绝新的请求。
漏桶则是按照常量固定速率流出请求，流入请求速率任意，当流入的请求数累积到漏桶容量时，则新流入的请求被拒绝。
令牌桶限制的是平均流入速率(允许突发请求，只要有令牌就可以处理，支持一次拿3个令牌，或4个令牌)， 并允许一定程度的突发流量。
漏桶限制的是常量流出速率(即流出速率是一个固定常量值，比如都是1的速率流出，而不能一次是1， 下次又是2)， 从而平滑突发流入速率。
令牌桶允许一定程度的突发，而漏桶主要目的是平滑流入速率。
两个算法实现可以一样，但是方向是相反的，对于相同的参数得到的限流效果是一样的。
另外，有时我们还使用计数器来进行限流，主要用来限制总并发数，比如数据库连接池大小、线程池大小、秒杀并发数都是计数器的用法。只要全局总请求数或者-定时间段的总请求数达到设定阈值，则进行限流。这是一种简单粗暴的总数量限流，而不是平均速率限流。
