← 肥鱼的技术笔记 本地AI部署工具

笔记 · 2026-11-11

挑 GGUF:量化档位、显存估算,
8 GB 显卡怎么选

刚开始折腾本地模型那几天,同一个模型我下错了三次。模型页面上并排挂着七八个文件,名字后面跟着 Q4_K_M、Q5_K_S、IQ3_XS,只看大小挑,挑完就是“能下载、跑不动”。

i7-13650HX · RTX 4070 Laptop 8 GB · 32 GB 内存 · Windows 11


文件名尾巴那串字母是什么

GGUF 的量化跟 GPTQ 那种不一样:它不是把权重直接压成低比特整数,而是按块分组,每组配一组缩放系数。这样精度损失可控,同一个模型量化到 Q2 也不至于胡说八道,只是长文容易跳字。

后缀每权重位数4B 模型的体积我怎么用它
Q2_K / IQ2约 2.5–3 bit1.1–1.4 GB显存实在不够时才用,写长文会漏字
Q3_K_M约 3.4 bit1.6–1.8 GB7B 想塞进 8 GB 卡的妥协项
Q4_K_M约 4.5 bit2.3–2.6 GB默认就用它
Q5_K_M约 5.5 bit2.8–3.1 GB显存还有余量就换它,长文更稳
Q6_K / Q8_06.5 / 8.5 bit3.3–4.5 GB只在对拍实验里用过,日常看不出收益

中间那个 S / M / L 是同一档位里“额外保留多少张量精度”。M 是平衡档。我试过在 Q4 的 S 和 M 之间纠结半天,最后结论是没必要,日常用记着 Q4_K_M 就行。

显存被吃掉的其实不止模型文件

我最开始的错误是拿文件大小当显存需求。2.6 GB 的模型,8 GB 显存,怎么看都够,结果照样 OOM。后来才算明白,占显存的是三样东西:

显存 ≈ 模型权重 + KV cache + 计算缓冲
KV cache ≈ 2 × 层数 × 上下文长度 × 隐藏维度 × 2 字节

KV cache 是随上下文线性长的,也是最容易漏算的一项。同一个 4B 模型,上下文从 4k 拉到 32k,它能从几百 MB 涨到 2 GB 以上。

拿 4B、32 层、隐藏维度 2560 举例:

上下文KV cacheQ4_K_M 权重加起来
4 0960.4 GB2.5 GB约 3.0 GB
8 1920.8 GB2.5 GB约 3.4 GB
32 7683.3 GB2.5 GB约 5.9 GB

所以“要不要开 32k”这个问题,得连着显存一起想。4B 加 32k 在我这张卡上确实能跑,但只给计算缓冲留了一 GB 出头,后台开个视频网页就会掉。

8 GB 卡能跑到哪

我这张是 4070 Laptop,8 GB。试下来舒服的区间其实很窄:

还有个容易搞混的地方:显存和内存是两套账。模型有一部分切到内存以后,每算一层都要过 PCIe,瓶颈从算力变成带宽。看到“CPU 不高、GPU 也不高、就是慢”,基本就是这个。

我现在的顺序

先看用途。聊天和写作 4B 到 8B 就够,代码补全用 7B 级别,纯聊天别去追大参数。

然后按显存倒推:8 GB 锁 4B,12 GB 可以试 8B,16 GB 以上再考虑 14B。

量化先上 Q4_K_M,跑通之后换 Q5_K_M,拿同一段长文对一下,看看有没有真差别。多数时候我看不出来,那就用小的。

上下文按用途定,日常 8k 够用,要贴长文档再开 32k,开之前先算一眼上面那张表。

榜单放最后看。它在特定数据集上打分,跟我拿它写中文长文不是一回事。

这套流程后来被我做进工具里了:先认 CPU、显卡、内存,再按显存过滤模型库,每个模型标成“能跑满 / 需要 offload / 跑不动”。至少不用再下一个 7 GB 的包然后发现打不开。

本地AI模型工作台

Windows 桌面工具 · 自带 llama.cpp(CUDA 12.4)· 39 个 GGUF 分 6 类 · 不用装 Ollama,也不用填 API Key

打开工具页 模型库、参数与下载

安装包直链:/downloads/LocalAIStudio-Setup-1.0.0.exe