Alibaba Sentinel的四种限流策略

前面两篇文章分别介绍了Sentinel怎么用,QPS怎么计算,接下来介绍下Sentinel限流策略
Alibaba Sentinel限流功能
Alibaba Sentinel与滑动时间窗口

Sentinel限流策略接口定义在 TrafficShapingController中,核心方法canPass,实现是否将流量放行的逻辑。

public interface TrafficShapingController {
   
    boolean canPass(Node node, int acquireCount, boolean prioritized);

    boolean canPass(Node node, int acquireCount);
}

其有四种实现,分别是基于QPS绝对值的DefaultController,基于频率的RateLimiterController,以及在这两大类之上构建出的,考虑冷启动问题的WarmUpController,WarmUpRateLimiterController

DefaultController

DefaultController是Sentinel默认的策略,核心逻辑是计算出当前时间窗口的count,满足qps要求就放行,不满足(prioritized=true)可以借未来时间窗口的quota,如果都不ok,则直接拒绝,详见下述代码注释1,2,3

public boolean canPass(Node node, int acquireCount, boolean prioritized) {
        //1.计算当前窗口计数之和
        int curCount = avgUsedTokens(node);
        //2.比较当前流量与规则限制
        if (curCount + acquireCount > count) {
            //3.即使超限,如果prioritized设为true,则认为是重要业务,可以尝试让业务线程sleep到下一个窗口,借用下一个窗口的计数
            if (prioritized && grade == RuleConstant.FLOW_GRADE_QPS) {
                long currentTime;
                long waitInMs;
                currentTime = TimeUtil.currentTimeMillis();
                waitInMs = node.tryOccupyNext(currentTime, acquireCount, count);
                if (waitInMs < OccupyTimeoutProperty.getOccupyTimeout()) {
                    node.addWaitingRequest(currentTime + waitInMs, acquireCount);
                    node.addOccupiedPass(acquireCount);
                    sleep(waitInMs);

                    // PriorityWaitException indicates that the request will pass after waiting for {@link @waitInMs}.
                    throw new PriorityWaitException(waitInMs);
                }
            }
            return false;
        }
        return true;
    }

RateLimiterController

这是一种基于频率的限流策略,DefaultController关注的是QPS的绝对值,而RateLimiterController关注的是流量进来的间隔时间,如果定义QPS阈值为10,使用DefaultController的策略,无论流量在一秒内的某个ms单位时间点同时进来,还是均匀的每100ms进来一个请求,都是一视同仁的,都可以通过。使用RateLimiterControlle策略,则要求每一个请求,距离上一次请求通过的间隔,必须大于等于100ms,才可以放行,否则必须sleep一段时间,直到间隔大于等于100ms,否则拒绝。可以认为这是一种基于固定频率的限流机制。
见代码

public boolean canPass(Node node, int acquireCount, boolean prioritized) {
        long currentTime = TimeUtil.currentTimeMillis();
        // Calculate the interval between every two requests.
        long costTime = Math.round(1.0 * (acquireCount) / count * 1000);

        // Expected pass time of this request.
        long expectedTime = costTime + latestPassedTime.get();
        //比如预期下一个请求在1500ms之后到来,currentTime已经在1600ms,表名系统其实是闲着的,直接通过即可。
        if (expectedTime <= currentTime) {
            // Contention may exist here, but it's okay.
            latestPassedTime.set(currentTime);
            return true;
        } else {//计算需要等的时间
            long waitTime = costTime + latestPassedTime.get() - TimeUtil.currentTimeMillis();
            //等待时间过长,直接拒绝
            if (waitTime > maxQueueingTimeMs) {
                return false;
            } else {//等的时间ok,考虑放行,去抢占更新latestPassedTime
                long oldTime = latestPassedTime.addAndGet(costTime);
                try {
                    waitTime = oldTime - TimeUtil.currentTimeMillis();
                    //说明抢占失败了,而且新的等待时间无法接受,则回滚更新,拒绝
                    if (waitTime > maxQueueingTimeMs) {
                        latestPassedTime.addAndGet(-costTime);
                        return false;
                    }
                    //sleep之后放行。
                    if (waitTime > 0) {
                        Thread.sleep(waitTime);
                    }else{
                       System.out.print("waitTime <=0 "+waitTime);
                    }

                    return true;
                } catch (InterruptedException e) {
                }
            }
        }
        return false;
    }

WarmUpController

部分业务系统,当启动完毕,或者长期处于低负荷状态运行时,会因为资源初始化(比如数据库建立连接,远程网络连接)的问题,无法应对突如其来的大流量。WarmUpController提供的限流策略,支持系统在一个时间段,以一个曲线爬坡,逐步增加系统QPS限制,达到WarmUp的效果。warmup完毕之后,其限流策略与DefaultController相似。

public boolean canPass(Node node, int acquireCount, boolean prioritized) {
        long passQps = (long) node.passQps();

        long previousQps = (long) node.previousPassQps();
        syncToken(previousQps);

        // 开始计算它的斜率
        // 如果进入了警戒线,开始调整他的qps
        long restToken = storedTokens.get();
        // 这种情况相当于冷状态
        if (restToken >= warningToken) {
            long aboveToken = restToken - warningToken;
            // 消耗的速度要比warning快,但是要比慢
            // current interval = restToken*slope+1/count
            double warningQps = Math.nextUp(1.0 / (aboveToken * slope + 1.0 / count));
            if (passQps + acquireCount <= warningQps) {
                return true;
            }
        } else {// 这种情况相当于热状态

            if (passQps + acquireCount <= count) {
                return true;
            }
        }
        return false;
    }

这种策略将限流器模拟为token桶,QPS如果限制为20,则认为每秒自动往桶里加20个token,每通过一个请求,从桶里拿走一个token。

这种WarmUp策略的关键逻辑有两个:
1.判断系统怎么样算冷状态。
2.warmUp爬坡的坡度。

相关的公式见下。WarmUpController默认的coldFactor=3,如果定义冷启动时间10s,最大QPS为20。则可以得出warningToken=100,maxToken= 200 slope = 0.001
通俗的讲,在这种定义下,流量进来拿token的速度如果很慢,桶里剩余token大于等于100,则认为是冷状态,走冷状态的爬坡限流机制,会从6.66QPS在10s钟的时间内爬升到20QPS的流控限制。

warningToken = (int)(warmUpPeriodInSec * count) / (coldFactor - 1);

maxToken = warningToken + (int)(2 * warmUpPeriodInSec * count / (1.0 + coldFactor));

slope = (coldFactor - 1.0) / count / (maxToken - warningToken);

WarmUpRateLimiterController

这种策略可以认为是基于频率限流RateLimiterController的WarmUp版,也是以一个较低初始频率,逐步爬坡到目标频率。其实现类继承自WarmUpController,各种指标计算公式完成复用的,只是把WarmUpController计算得出的qps转换成频率进行限流。比如冷启动时间10s,最大QPS为20的配置下,WarmUpController会把QPS逐步从6.66QPS在10s的时间内爬升到20QPS,相应的,RateLimiterController会将这个间隔从150ms逐步降低到50ms。

if (restToken >= warningToken) {
            long aboveToken = restToken - warningToken;

            // current interval = restToken*slope+1/count
            double warmingQps = Math.nextUp(1.0 / (aboveToken * slope + 1.0 / count));
            costTime = Math.round(1.0 * (acquireCount) / warmingQps * 1000);
        } else {
            costTime = Math.round(1.0 * (acquireCount) / count * 1000);
        }
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 194,319评论 5 459
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 81,801评论 2 371
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 141,567评论 0 319
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 52,156评论 1 263
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 61,019评论 4 355
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 46,090评论 1 272
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 36,500评论 3 381
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 35,192评论 0 253
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 39,474评论 1 290
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 34,566评论 2 309
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 36,338评论 1 326
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 32,212评论 3 312
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 37,572评论 3 298
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 28,890评论 0 17
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 30,169评论 1 250
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 41,478评论 2 341
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 40,661评论 2 335

推荐阅读更多精彩内容