【netty学习笔记十三】PoolSubpage原理分析

PoolChunk负责8KB-16MB的内存分配,那如果小于8KB呢,比如申请64B,此时用PoolChunk分配就显得浪费了,netty用PoolSubpage来分配小于8KB的内存,如下:

补充PoolChunk和PoolSubpage关联图
补充Area和PoolSubpage关联图

netty使用bitmap来表示PoolSubpage分配结果,bitmap是long数组,

类属性

final class PoolSubpage<T> implements PoolSubpageMetric {
    // 对应的chunk应用
    final PoolChunk<T> chunk;
    //对应的chunk叶子节点下标
    private final int memoryMapIdx;
    //当前page在chunk中memory的偏移量
    private final int runOffset;
    private final int pageSize;
    //long数组表示分配情况
    private final long[] bitmap;
    // arena双向链表的前驱节点
    PoolSubpage<T> prev;
    // arena双向链表的后置节点
    PoolSubpage<T> next;

    boolean doNotDestroy;
    //page切分后的每一段大小
    int elemSize;
    //切分后段的数量
    private int maxNumElems;
    private int bitmapLength;
    //下一个可用的位置
    private int nextAvail;
    // 可用的段数量
    private int numAvail;

内存申请方法

private long allocateSubpage(int normCapacity) {
//从arena中获取PoolSubpage链表头部(参见后文arena分析)
PoolSubpage<T> head = arena.findSubpagePoolHead(normCapacity);
// d=11,即poolchunk叶节点层次
int d = maxOrder; // subpages are only be allocated from pages i.e., leaves
synchronized (head) {
//从poolchunk中获取一个叶子节点,返回对应的下标
int id = allocateNode(d);
if (id < 0) {
return id;
}

        final PoolSubpage<T>[] subpages = this.subpages;
        final int pageSize = this.pageSize;

        freeBytes -= pageSize;
        //PoolChunk维护了一个2048大小的poolSubpage数组,对应2048个叶子节点,这里是获取叶子节点对应的subpage下标。
        int subpageIdx = subpageIdx(id);
        PoolSubpage<T> subpage = subpages[subpageIdx];
        //如果叶子节点对应的subpage为空,则初始化
        if (subpage == null) {
            subpage = new PoolSubpage<T>(head, this, id, runOffset(id), pageSize, normCapacity);
            subpages[subpageIdx] = subpage;
        } else {
            subpage.init(head, normCapacity);
        }
        return subpage.allocate();
    }
}

PoolSubpage初始化方法如下:

PoolSubpage(PoolSubpage<T> head, PoolChunk<T> chunk, int memoryMapIdx, int runOffset, int pageSize, int elemSize) {
        this.chunk = chunk;  //对应的chunk引用
        this.memoryMapIdx = memoryMapIdx; //对应的chunk叶子节点下标
        this.runOffset = runOffset; 
        this.pageSize = pageSize; //叶子节点大小,默认8K
        //用long数组表示subpage分配情况,最小单位为16B,long可表示64位,所以只需要8KB/16B/64=8个long字段即可
        bitmap = new long[pageSize >>> 10]; // pageSize / 16 / 64 
        init(head, elemSize);
    }
void init(PoolSubpage<T> head, int elemSize) {
        doNotDestroy = true;
        //elemSize为初次申请的大小,如1024B
        this.elemSize = elemSize;
        if (elemSize != 0) {
            //按申请的大小进行分段,如8KB/1024B=8
            maxNumElems = numAvail = pageSize / elemSize;
            //此时第一次分配,下一个可用的位置即0
            nextAvail = 0;
            // 计算需要几个long来表示,如maxNumElems=8,右移6位(除64)=0,表示最多需要1个long
            bitmapLength = maxNumElems >>> 6;
            if ((maxNumElems & 63) != 0) { 
                //表示不是64的倍数
                bitmapLength ++;
            }
            //初始化bitmap
            for (int i = 0; i < bitmapLength; i ++) {
                bitmap[i] = 0;
            }
        }
        //将poolsubpage加入Arena双向链表
        addToPool(head);
    }

netty为了提供效率,大量使用了位运算,比如上述需要根据段的数量计算bitmap数组的long数量时,就先使用了无符号右移6(即除64),然后使用与63求&(即判断是不是64的整数),等价于求maxNumElems/64向上取整。
继续看分配方法allocate

long allocate() {
        if (elemSize == 0) {
            return toHandle(0);
        }
        //没有可分配的段,或需要销毁
        if (numAvail == 0 || !doNotDestroy) {
            return -1;
        }
        //获取下一个可用段的下标
        final int bitmapIdx = getNextAvail();
        
        int q = bitmapIdx >>> 6;
        int r = bitmapIdx & 63;
        assert (bitmap[q] >>> r & 1) == 0;
        //将对应的bitmap中的long对应的位数设为0,表示已使用
        bitmap[q] |= 1L << r;

        if (-- numAvail == 0) {
            removeFromPool();
        }

        return toHandle(bitmapIdx);
    }
    //转为64位分配信息
    private long toHandle(int bitmapIdx) {
        return 0x4000000000000000L | (long) bitmapIdx << 32 | memoryMapIdx;
    }

位计算有点多,不要慌。难点在于设置要使用的位数为1,即位图中的set操作。而这里的位图是用long来表示,首先要找到是哪个long(可以理解为long数组索引),即bitmapIdx >>> 6,接着要找位于long的哪里,bitmapIdx & 63表示对64求余,即找出了对应位r(可以理解为long的位偏移),然后1左移r位后再对long值求或即是目标结果。
接着看getNextAvail方法:

private int getNextAvail() {
        int nextAvail = this.nextAvail;
        //如果nextAvail大于0表示有可用的,直接返回
        if (nextAvail >= 0) {
            this.nextAvail = -1;
            return nextAvail;
        }
        return findNextAvail();
    }

    private int findNextAvail() {
        final long[] bitmap = this.bitmap;
        final int bitmapLength = this.bitmapLength;
        for (int i = 0; i < bitmapLength; i ++) {
            long bits = bitmap[i];
             //取非不为0,表示还有可用的
            if (~bits != 0) {
                return findNextAvail0(i, bits);
            }
        }
        return -1;
    }
private int findNextAvail0(int i, long bits) {
        final int maxNumElems = this.maxNumElems;
        final int baseVal = i << 6;
        //从低位开始遍历,对应的值表示这位已分配
        for (int j = 0; j < 64; j ++) {
            if ((bits & 1) == 0) {
                int val = baseVal | j;
                if (val < maxNumElems) {
                    return val;
                } else {
                    break;
                }
            }
            bits >>>= 1;
        }
        return -1;
    }

内存释放方法

boolean free(PoolSubpage<T> head, int bitmapIdx) {
        if (elemSize == 0) {
            return true;
        }
        int q = bitmapIdx >>> 6;
        int r = bitmapIdx & 63;
        assert (bitmap[q] >>> r & 1) != 0;
        //逆向操作,清除对应位
        bitmap[q] ^= 1L << r;

        // 该位置可用于下次分配
        setNextAvail(bitmapIdx);

        if (numAvail ++ == 0) {
            //已分配过,可加入arena双向链表
            addToPool(head);
            return true;
        }

        if (numAvail != maxNumElems) {
            return true;
        } else {
            // Subpage not in use (numAvail == maxNumElems)
            if (prev == next) {
                // Do not remove if this subpage is the only one left in the pool.
                return true;
            }

            // Remove this subpage from the pool if there are other subpages left in the pool.
            doNotDestroy = false;
            removeFromPool();
            return false;
        }
    }

PoolSubpage分析就到这里了。

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 213,992评论 6 493
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 91,212评论 3 388
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 159,535评论 0 349
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 57,197评论 1 287
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 66,310评论 6 386
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 50,383评论 1 292
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,409评论 3 412
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 38,191评论 0 269
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,621评论 1 306
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,910评论 2 328
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,084评论 1 342
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,763评论 4 337
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,403评论 3 322
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,083评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,318评论 1 267
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 46,946评论 2 365
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 43,967评论 2 351