2023-05-20:go语言的slice和rust语言的Vec的扩容流程是什么?

2023-05-20:go语言的slice和rust语言的Vec的扩容流程是什么?

答案2023-05-20:

go语言的slice扩容流程

go版本是1.20.4。

扩容流程见源码见runtime/slice.go文件中的growslice 函数。

growslice 函数的大致过程如下:

1.如果元素类型的大小为零,则返回具有 nil 指针但非零长度的切片。否则,下一步。

2.计算新切片的容量。如果新长度大于旧容量的两倍,则将新容量设置为新长度。否则,如果旧容量小于 256,则将新容量设置为旧容量的两倍,这是翻倍扩容。否则,使用一种算法计算新容量,该算法从将增长因子从 2 倍转变为 1.25 倍的小切片开始,平滑地过渡到大切片,新容量=旧长度+(旧长度+3*256)/4,这比1.25倍略大,但很近似。近似1.25倍扩容不一定会大于等于新长度,所以必须循环多次扩容,一直到大于等于新长度。如果新容量计算溢出,则将则将新容量设置为新长度。

3.根据对象大小的67种规格,计算新切片的内存占用量,并且会重新调整新切片的容量,一般会改大。

以下描述可以不看:

3.1.根据元素类型的大小进行特化处理。对于大小为 1 的元素类型,不需要任何除法/乘法。

3.2.对于大小等于 goarch.PtrSize 的元素类型,编译器会将除法/乘法优化为一个常量的移位操作。

3.3.对于大小为 2 的幂的元素类型,使用可变移位量进行处理。

3.4.对于其他大小的元素类型,计算所需内存,并将其舍入到页大小的倍数。

4.调用mallocgc函数,分配内存,产生新指针。

这段描述可以不看,根据元素类型的指针数据大小(即元素类型中指向堆上分配的内存的指针字段的大小),使用 mallocgc() 分配新的后备存储器。如果指针数据大小为零,则直接调用 mallocgc() 分配内存,并在分配的内存中清除将被覆盖的部分。否则,使用 GC 兼容内存分配器 mallocgc() 分配内存,并根据需要启用写屏障。

5.调用memmove函数,旧指针数据填充到新指针数据里。

6.返回新切片,其中包含指向新指针、新长度和新容量。

[图片上传失败...(image-40780f-1684592036844)]

rust语言的Vec的扩容流程

rust版本:cargo 1.71.0-nightly (09276c703 2023-05-16)

扩容流程见raw_vec.rs文件里的grow_amortized 方法。

grow_amortized 方法的大体过程如下:

1.如果 T 是零大小类型(ZST),则直接返回一个错误,因为对于 ZST 的 Vec 实例来说,它们的容量总是 usize::MAX,不能再增加更多的容量。

2.计算新容量 。新容量 = MAX(当前长度+新增元素的长度,2倍的旧容量, Self::MIN_NON_ZERO_CAP)。

以下是对 Self::MIN_NON_ZERO_CAP 的描述可以不看:

MIN_NON_ZERO_CAP 是最小非零容量。该值表示在进行内存分配时, Vec 最少需要分配的非零容量大小,以避免出现过多的内存浪费和碎片化。

具体来说,这个常量定义采用了一个简单的策略,根据 T 类型元素的大小,分别设置不同的最小非零容量值:

  • 如果 T 类型元素大小为 1 字节,则将最小非零容量设置为 8;

  • 如果 T 类型元素大小小于等于 1024 字节,则将最小非零容量设置为 4;

  • 否则,将最小非零容量设置为 1。

其中,如果 T 类型元素大小为 1 字节,则将最小非零容量设置为 8 是因为大部分堆分配器(heap allocator)会将小于 8 字节的内存请求自动对齐到 8 字节边界,因此设置最小容量为 8 可以避免出现内存浪费。

对于大小在 1 字节到 1024 字节之间的类型元素,将最小非零容量设置为 4,可以在保证一定的内存利用率的同时,避免出现过多的内存浪费和碎片化。

而对于大于 1024 字节的类型元素,将最小非零容量设置为 1,则可以避免出现过多的内存浪费,同时保证了内存分配时的性能和效率。

总之,这个常量定义是 Vec 在进行内存分配时所采用的一种策略,旨在尽可能地减少内存浪费和碎片化,同时保证了内存分配的性能和效率。

3.基于新的容量使用 Layout::array::<T> 方法创建一个新的布局 new_layout,new_layout 并不是已经分配了内存空间的对象,它只是一个描述所需内存块大小和对齐方式的布局对象。

4.调用 finish_grow() 方法进行内存分配,会获得一个新指针。这个方法是非泛型的,不依赖于 T 类型。

5.调用 set_ptr_and_cap 将分配得到的新指针和容量设置为 RawVec 实例的新值。

6.成功扩容,返回一个 Ok(()) 值。

需要注意的是,在上述过程中,除了第一步和第三步涉及到具体的类型 T 外,其他过程都是非泛型的。这样做是为了尽可能减小 grow_amortized() 方法的大小,同时提高其静态计算能力,从而使生成的代码运行更快。

[图片上传失败...(image-aa5be5-1684592036844)]

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 214,029评论 6 493
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 91,238评论 3 388
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 159,576评论 0 349
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 57,214评论 1 287
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 66,324评论 6 386
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 50,392评论 1 292
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,416评论 3 412
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 38,196评论 0 269
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,631评论 1 306
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,919评论 2 328
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,090评论 1 342
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,767评论 4 337
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,410评论 3 322
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,090评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,328评论 1 267
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 46,952评论 2 365
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 43,979评论 2 351

推荐阅读更多精彩内容