模型的记性太占地,压薄点就快了

# 模型的记性太占地,压薄点就快了

在自己电脑上跑一个开源模型,聊到第三十轮,字开始一个一个往外蹦,显存占用还悄悄往上爬。多数人第一反应是显卡不够快,琢磨着换张更贵的卡。十一月十日挂出来的一篇论文说,这类混合模型里,慢常常不在算,而在每一步都要把「记性」整块读出来、再整块写回去。六位作者做了个叫 SinkState 的东西,思路不是算得更快,是让这块记性别那么占地方。

## 慢在读写不在算

先把「记性」说清楚。模型要接下一句,得知道前面聊过什么。标准注意力的做法是把前面所有字都摆出来重新比对,对话越长,摊子越大;混合模型里另一半用线性注意力,把历史压成固定大小的一块状态,像把整本聊天记录缩成一张便签。前者记得全但越聊越重,后者恒定但会丢细节,两类层混着用,就是想在质量和开销之间取个中间值。

便签大小固定听着是好事,麻烦也在这儿:每吐一个字,这张便签都要完整读一遍、再完整写一遍。并发的请求一多,读写量跟着涨,解码时间的大头就花在等数据从显存爬过来,显卡的乘加单元反倒闲着。这类情形叫访存受限,白话说是等得久,不是算不动。换成更贵的卡,算力涨了,等的时间未必短多少。

## 便签和整本账

这篇论文编号 arXiv 二六一一一四二四六,十一月十日提交,第一作者 Haolin Jiang,方向是机器学习里的推理系统。他们盯着便签里的数字看,发现一件挺巧的事:线性层里的查询、键、值这些量,看着密密麻麻,其实大多集中在同一个稳定的窄方向里,作者给起了个名字叫「线性注意力汇聚」。

换成大白话:一张写满数字的表格,真正带信息量的就那么几行,剩下的行基本能由这几行推出来。数学上叫低秩——你可以理解成一本厚厚的流水账,用几行汇总就能还原个八九不离十。更麻烦的是,不同便签的「要紧行数」并不一样,随内容变,所以没法事先定死一个压缩比。

现有服务系统没管这些,一律按稠密形式存着,每步读写全量。论文里那句判断很直白:这些冗余状态让访存量随批量增长,最后主导了解码成本。

[[IMG1]]

## 只留要紧的几行

既然多数行是冗余的,就别整张存了。SinkState 让每块循环状态在整个推理过程中都以自适应低秩形式存在,做了三件事。

一是把新来的更新先攒在缓冲区里,不急着每步都重写整块状态。二是在最要紧的那几行上做一次局部 SVD——这是一种把矩阵拆出主次的方法,像把一张照片分成轮廓和细节,只保留轮廓那部分,而且范围限定在顶部子空间,不必对整张表做分解。三是把剩下的零碎部分异步交给 CPU 慢慢合并,不占显卡的等待时间。

这三层合起来,改的是「记性怎么放」,不是模型算什么。论文强调没有改动输出,精度在他们的测试里保持住了。这一点对工程落地挺要紧:不用重新训练,也不用换模型文件。

实测跑了四个混合模型,用的是 Mamba-2 与 Gated DeltaNet 这两类层,规模从四十亿到一千二百亿参数,对照的是两个常用状态实现。峰值状态显存最多降到原来的约三分之一(平均降一半左右),解码最快快半倍多(平均快四分之一)。给个可感知的参照:原来状态占十吉字节,压完大约四吉字节;原来等十秒,现在大概六到八秒,而不是宣传语里那种「翻几倍」的观感。

## 自己怎么验

论文没有给一键脚本,也没有公开可直接套用的发行版命令。它给的是一组能对齐的实验条件,想复现的人照这几条核对即可:模型得是同时含标准注意力与线性注意力的混合结构;层类型覆盖 Mamba-2 与 Gated DeltaNet 两类;规模拉到四十亿至一千二百亿这个跨度;基线用论文里那两个状态实现;看两个量——状态峰值显存与单步解码耗时;最后必须单独核一次精度有没有掉。少了最后一条,压缩带来的提速就说明不了任何问题。

如果只想在本机摸一摸这个瓶颈,可以先挂一个通用服务观察显存曲线。下面这行是常见推理框架的通用示意,不是论文给出的命令:

```

vllm serve <本地模型目录> --max-model-len 8192 --gpu-memory-utilization 0.9

```

这行在干什么:把本地模型挂成一个可请求的服务,限制一次最多记住八千多个词元,并允许用掉九成显存。接着发多轮长对话,看显存占用随轮数怎么涨——若涨的部分主要来自状态缓存,才轮得到考虑压缩;若模型权重本身就快把显存吃满,先解决的是加载与量化,不是这块便签。

顺带分清:这里压的是循环状态,不是 KV 缓存,也不是模型权重。三者都占显存,优化手法各不相同,倍数别加错地方。

## 倍数先打个折

边界得摆清。第一,这些是指定模型、指定硬件上的单点测量,换成纯标准注意力的模型,压根没有这块状态可压。第二,批量一大,瓶颈会挪回算力,低秩省下的带宽不再主导,倍数不会原样复制。第三,低秩近似在更长对话里会不会慢慢丢细节、要不要定期补一次完整状态,论文没答;它依赖「数值集中在窄方向」这个前提,前提是观测到的现象,不是保证。第四,代码是开源的研究实现,离「装个插件就提速」还有工程距离。

同一周还有人从别处下手。一篇讲堆叠内存架构,把计算直接挪到存储附近,靠硬件改带宽,在几种注意力机制上报告了成倍的几何平均加速;另一篇盯着本地智能体每次调完工具要等两三秒,让常被点到的专家常驻显存,把等待砍掉两成到五成。三条路其实指向同一句判断:动手前先弄清慢在哪一段——是权重搬得慢、状态读写多,还是专家来回换——再决定换卡、改数据结构,还是改调度。

[[IMG2]]

不做这一行的人,下次看到「推理提速多少倍」,先问三件事:一次服务几个人、跑在哪张卡上、跟谁比。做工程的人能抄走的是另一层:既然状态本身有统计规律,就别只盯着换更小的模型,怎么存、怎么读写,是一条不与量化冲突的路。模型不用改、卡不用换,把要搬的东西变少,有时候比把算力变大更管用。

(信源:arXiv 二六一一一四二四六论文摘要与全文;同一周堆叠内存架构与本地智能体推理两篇公开论文摘要;十一月论文速递对混合模型推理优化的解读。)

©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成,浏览时请结合常识与多方信息审慎甄别。
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

友情链接更多精彩内容