← 肥鱼的技术笔记 本地AI部署工具

笔记 · 2026-11-12

显存不够时,
按层 offload 的真实代价

llama.cpp 的 -ngl 可以只把一部分层放进显存,剩下的留给 CPU。听上去是个免费的放大招,我照着调了两个晚上才发现不是。

RTX 4070 Laptop 8 GB · 32 GB 内存 · i7-13650HX · llama.cpp CUDA 12.4


Transformer 一层一层往前算,每层的权重得先在显存里才能用 GPU 算。-ngl 32 是“32 层全放显存”,-ngl 0 是全给 CPU,中间的数值就是把后面若干层放显存、前面的留给内存。

:: 7B Q4_K_M,一共 32 层
-ngl 32   # 全进显存,约 7 GB
-ngl 20   # 20 层显存、12 层内存
-ngl 0    # 全 CPU,显存基本不占

我一开始以为这是个线性折中:一半层在显存,速度掉一半。实际测完,不是这么回事。

我这边测到的

同一个模型,7B Q4_K_M,权重约 4.4 GB,上下文统一 8k,只动 -ngl,其它参数没碰:

-ngl显存生成速度用起来的感觉
00.3 GB2–4 tok/s一句话等十几秒,试完就关了
162.4 GB8–12 tok/s能聊,但明显一顿一顿
243.6 GB14–20 tok/s日常够用,长回答能看出延迟
326.8 GB30 tok/s 以上顺畅,接近云端小模型的体验

这些数在我这台机器上才成立,换台机器、换个上下文长度都会变。值得看的是最后一行往上跳的那一下:从 24 层加到 32 层只多了 8 层,速度翻了一倍多,因为跨 PCIe 的数据搬运次数变成了零。

为什么“半放”比预想的更亏

瓶颈不在算力,在带宽。显存带宽每秒几百 GB,PCIe 4.0 x8 大概十几 GB/s,差一个数量级。一半的层等着内存喂数据,GPU 大部分时间在等。

这也解释了一个我困惑很久的现象:任务管理器里 GPU 才 30%,CPU 也不高,可它就是慢。两边都在等对方,谁都没跑满,看占用率当然看不出问题。

后来我按这个顺序调

先看能不能整个塞进显存,塞不进去就换小一号的模型。4B 全放比 7B 半放快太多,问答质量那点差距,用起来真没速度差距明显。

非要用大模型,就先砍上下文。32k 降到 8k,KV cache 能省一到两个 GB,很多时候刚好够把层全放进去。还差一点就降量化,Q5_K_M 换 Q4_K_M 再省 0.5–0.8 GB,比硬 offload 划算。

offload 我是放到最后才用,而且尽量只留几层在内存,不让它对半开。对半开是最难受的状态:显存也占了,速度也没了。

说白了,宁可用小模型全速跑,也别用大模型半速爬。这条我一开始做反了,来回折腾了好几天。

一个例外

如果你是在批量处理文档,没人等着看首字,offload 反而是合理选项。慢是慢,总比跑不动强。判断标准就一条:有没有人盯着屏幕等第一个字。有的话别 offload。

本地AI模型工作台

每个模型卡片会标出“全显存 / 部分显存 / CPU 运行”,按你的显存自己算卸载层数,不用再手算 -ngl。

打开工具页 模型库、参数与下载

安装包直链:/downloads/LocalAIStudio-Setup-1.0.0.exe