Netty源码分析----PoolChunk

(*文章基于Netty4.1.22版本)
Netty内存管理这块比较复杂,断断续续看了一个多月了,总要有点输出,写几篇文章稍微分析总结一下

整体介绍

PoolChunk的结构是一颗平衡二叉树,如下:


PoolChunk结构.png

注:左边代表的是节点的序号,右边的深度,例如512号节点深度为9,其数据结构为数组memoryMap和depthMap,初始化时相等

PoolChunk默认深度为11,一个节点默认为8KB,上图中,最下面有Subpage这个结构,这个是用来分配小于8KB的内存,数量和叶子节点数一样

举几个个例子来说明一下分配过程:
1.需要分配8KB的内存
在叶子节点寻找一个空的位置进行分配即可,此时节点的变化如下:


image.png

3个格子分别代表的意思是:深度,memoryMap[id],depthMap[id],在未分配前,3者是相等。
当一个节点分配之后,其memoryMap[id]=深度+1,变成右图左下角的状态,另外其父节点的memoryMap[id]=min(左右孩子memoryMap值),以此类推,一直到根节点

2.需要分配16KB的内存
在第10层分配一个节点即可,因为其两个孩子节点分别为8KB

那么就有几种分配状态:

  1. memoryMap[id] == depthMap[id]:该节点以及子节点未被分配
  2. memoryMap[id] > depthMap[id]:该节点被分配 or 该节点下有一个节点被分配
  3. memoryMap[id] == 深度+1:该节点被分配 or 该节点下所有孩子节点全被分配

注意,第二种情况下,不能分配16KB的内存,因为其子节点被分配,所剩空间不足

源码实现

源码中有大量的位运算,可能看起来不太直观,举个例子算一下就清晰了

初始化

    PoolChunk(PoolArena<T> arena, T memory, int pageSize, int maxOrder, int pageShifts, int chunkSize, int offset) {
        // ....省略部分赋值
        unusable = (byte) (maxOrder + 1);// unusable = 深度+1,即上面图中的12
        maxSubpageAllocs = 1 << maxOrder;// Subpage数 2的maxOrder次方 即2048

        memoryMap = new byte[maxSubpageAllocs << 1];// maxSubpageAllocs << 1 = 2的maxOrder+1次方,即4096
        depthMap = new byte[memoryMap.length];
        int memoryMapIndex = 1;
        // 有maxOrder层,从上往下,从左往右赋值
        for (int d = 0; d <= maxOrder; ++ d) { 
            int depth = 1 << d;// 2的d次方
            for (int p = 0; p < depth; ++ p) {
                // 每一层的深度都是d,赋值给memoryMap和depthMap,所以depthMap和memoryMap初始化时是相同的
                memoryMap[memoryMapIndex] = (byte) d;
                depthMap[memoryMapIndex] = (byte) d;
                memoryMapIndex ++;
            }
        }
        // 初始化subpage
        subpages = newSubpageArray(maxSubpageAllocs);
    }

分配

    long allocate(int normCapacity) {
        if ((normCapacity & subpageOverflowMask) != 0) { // >= pageSize
            return allocateRun(normCapacity);
        } else {
            return allocateSubpage(normCapacity);
        }
    }

分配方法有两个分支流程,一个是大于8KB的,走poolChunk,小于8KB的,走Subpage

allocateRun

    private long allocateRun(int normCapacity) {
        // 根据需要的空间,计算应该在哪一层分配
        int d = maxOrder - (log2(normCapacity) - pageShifts);
        int id = allocateNode(d);//从该深度的节点中,找出一个空闲的节点
        if (id < 0) {
            return id;
        }
        freeBytes -= runLength(id);//计算该节点所占内存并减去,freeBytes为剩余空闲内存
        return id;
    }

由于一个Chunk为8KB,即8192,即2的13次方,所以pageShitfs为13。
至于 maxOrder - (log2(normCapacity) - pageShifts); 怎么理解呢,由于normCapacity在外层传入的时候就已经做过纠正,其值为2的N次方,那么假设normCapacity为8KB,log2(normCapacity)为13,减去pageShifts,最后算出来的就是maxOrder层,以此类推

allocateNode

    private int allocateNode(int d) {
        int id = 1;
        int initial = - (1 << d); // has last d bits = 0 and rest all = 1
        byte val = value(id);// memoryMap[id]
        if (val > d) { // 一开始说的第二种分配状态
            return -1;
        }
        while (val < d || (id & initial) == 0) { // id & initial == 1 << d for all ids at depth d, for < d it is 0
            id <<= 1;// 2 4 6 8 .... 512 1024 2048,即在树中最左边的那条路径
            val = value(id);
            if (val > d) {// 即memoryMap[id] > depthMap[id]:该节点被分配 or 该节点下有一个节点被分配
                id ^= 1;// 兄弟节点
                val = value(id);
            }
        }
        byte value = value(id);
        assert value == d && (id & initial) == 1 << d : String.format("val = %d, id & initial = %d, d = %d",
                value, id & initial, d);
        setValue(id, unusable); // 将该节点的memoryMap设置为深度+1,表示分配
        updateParentsAlloc(id);// 将父节点设置为其孩子节点memoryMap最小的那个值
        return id;
    }

大概的流程就是:

  1. 先从最左边的叶子节点匹配,如果该节点为分配,则分配该节点
  2. 如果该节点已分配,那么判断兄弟节点是否分配,如果未分配,则分配该节点
  3. 如果兄弟节点已经分配,那么从父节点的兄弟节点的孩子节点继续该过程

总的就是在一层中从左往右寻找匹配节点,其中兄弟节点的获取是id^1,刚好就是兄弟节点的值

释放

    void free(long handle) {
        int memoryMapIdx = memoryMapIdx(handle);// 将long类型的转换成int,即保留低位信息
        int bitmapIdx = bitmapIdx(handle);//id >>> Integer.SIZE,右移32位,高位补0

        if (bitmapIdx != 0) { // 如果是Chunk分配的,右移后,bitmapIdx会变成0,具体原因要看下Page的分析
            //获取对应的Page
            PoolSubpage<T> subpage = subpages[subpageIdx(memoryMapIdx)];
            assert subpage != null && subpage.doNotDestroy;
        
            PoolSubpage<T> head = arena.findSubpagePoolHead(subpage.elemSize);
            synchronized (head) {
                //调用Page的释放方法
                if (subpage.free(head, bitmapIdx & 0x3FFFFFFF)) {
                    return;
                }
            }
        }
        freeBytes += runLength(memoryMapIdx);
        // 和分配是逆过程
        setValue(memoryMapIdx, depth(memoryMapIdx));
        updateParentsFree(memoryMapIdx);
    }
最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 218,122评论 6 505
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 93,070评论 3 395
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 164,491评论 0 354
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 58,636评论 1 293
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 67,676评论 6 392
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 51,541评论 1 305
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 40,292评论 3 418
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 39,211评论 0 276
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 45,655评论 1 314
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,846评论 3 336
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,965评论 1 348
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 35,684评论 5 347
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 41,295评论 3 329
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,894评论 0 22
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 33,012评论 1 269
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 48,126评论 3 370
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,914评论 2 355

推荐阅读更多精彩内容