笔记 · 2026-11-12
显存不够时,
按层 offload 的真实代价
llama.cpp 的 -ngl 可以只把一部分层放进显存,剩下的留给 CPU。听上去是个免费的放大招,我照着调了两个晚上才发现不是。
Transformer 一层一层往前算,每层的权重得先在显存里才能用 GPU 算。-ngl 32 是“32 层全放显存”,-ngl 0 是全给 CPU,中间的数值就是把后面若干层放显存、前面的留给内存。
:: 7B Q4_K_M,一共 32 层
-ngl 32 # 全进显存,约 7 GB
-ngl 20 # 20 层显存、12 层内存
-ngl 0 # 全 CPU,显存基本不占
我一开始以为这是个线性折中:一半层在显存,速度掉一半。实际测完,不是这么回事。
我这边测到的
同一个模型,7B Q4_K_M,权重约 4.4 GB,上下文统一 8k,只动 -ngl,其它参数没碰:
| -ngl | 显存 | 生成速度 | 用起来的感觉 |
|---|---|---|---|
| 0 | 0.3 GB | 2–4 tok/s | 一句话等十几秒,试完就关了 |
| 16 | 2.4 GB | 8–12 tok/s | 能聊,但明显一顿一顿 |
| 24 | 3.6 GB | 14–20 tok/s | 日常够用,长回答能看出延迟 |
| 32 | 6.8 GB | 30 tok/s 以上 | 顺畅,接近云端小模型的体验 |
这些数在我这台机器上才成立,换台机器、换个上下文长度都会变。值得看的是最后一行往上跳的那一下:从 24 层加到 32 层只多了 8 层,速度翻了一倍多,因为跨 PCIe 的数据搬运次数变成了零。
为什么“半放”比预想的更亏
瓶颈不在算力,在带宽。显存带宽每秒几百 GB,PCIe 4.0 x8 大概十几 GB/s,差一个数量级。一半的层等着内存喂数据,GPU 大部分时间在等。
这也解释了一个我困惑很久的现象:任务管理器里 GPU 才 30%,CPU 也不高,可它就是慢。两边都在等对方,谁都没跑满,看占用率当然看不出问题。
后来我按这个顺序调
先看能不能整个塞进显存,塞不进去就换小一号的模型。4B 全放比 7B 半放快太多,问答质量那点差距,用起来真没速度差距明显。
非要用大模型,就先砍上下文。32k 降到 8k,KV cache 能省一到两个 GB,很多时候刚好够把层全放进去。还差一点就降量化,Q5_K_M 换 Q4_K_M 再省 0.5–0.8 GB,比硬 offload 划算。
offload 我是放到最后才用,而且尽量只留几层在内存,不让它对半开。对半开是最难受的状态:显存也占了,速度也没了。
说白了,宁可用小模型全速跑,也别用大模型半速爬。这条我一开始做反了,来回折腾了好几天。
一个例外
如果你是在批量处理文档,没人等着看首字,offload 反而是合理选项。慢是慢,总比跑不动强。判断标准就一条:有没有人盯着屏幕等第一个字。有的话别 offload。
本地AI模型工作台
每个模型卡片会标出“全显存 / 部分显存 / CPU 运行”,按你的显存自己算卸载层数,不用再手算 -ngl。
打开工具页 模型库、参数与下载安装包直链:/downloads/LocalAIStudio-Setup-1.0.0.exe