笔记 · 2026-11-11
挑 GGUF:量化档位、显存估算,
8 GB 显卡怎么选
刚开始折腾本地模型那几天,同一个模型我下错了三次。模型页面上并排挂着七八个文件,名字后面跟着 Q4_K_M、Q5_K_S、IQ3_XS,只看大小挑,挑完就是“能下载、跑不动”。
文件名尾巴那串字母是什么
GGUF 的量化跟 GPTQ 那种不一样:它不是把权重直接压成低比特整数,而是按块分组,每组配一组缩放系数。这样精度损失可控,同一个模型量化到 Q2 也不至于胡说八道,只是长文容易跳字。
| 后缀 | 每权重位数 | 4B 模型的体积 | 我怎么用它 |
|---|---|---|---|
| Q2_K / IQ2 | 约 2.5–3 bit | 1.1–1.4 GB | 显存实在不够时才用,写长文会漏字 |
| Q3_K_M | 约 3.4 bit | 1.6–1.8 GB | 7B 想塞进 8 GB 卡的妥协项 |
| Q4_K_M | 约 4.5 bit | 2.3–2.6 GB | 默认就用它 |
| Q5_K_M | 约 5.5 bit | 2.8–3.1 GB | 显存还有余量就换它,长文更稳 |
| Q6_K / Q8_0 | 6.5 / 8.5 bit | 3.3–4.5 GB | 只在对拍实验里用过,日常看不出收益 |
中间那个 S / M / L 是同一档位里“额外保留多少张量精度”。M 是平衡档。我试过在 Q4 的 S 和 M 之间纠结半天,最后结论是没必要,日常用记着 Q4_K_M 就行。
显存被吃掉的其实不止模型文件
我最开始的错误是拿文件大小当显存需求。2.6 GB 的模型,8 GB 显存,怎么看都够,结果照样 OOM。后来才算明白,占显存的是三样东西:
显存 ≈ 模型权重 + KV cache + 计算缓冲
KV cache ≈ 2 × 层数 × 上下文长度 × 隐藏维度 × 2 字节
KV cache 是随上下文线性长的,也是最容易漏算的一项。同一个 4B 模型,上下文从 4k 拉到 32k,它能从几百 MB 涨到 2 GB 以上。
拿 4B、32 层、隐藏维度 2560 举例:
| 上下文 | KV cache | Q4_K_M 权重 | 加起来 |
|---|---|---|---|
| 4 096 | 0.4 GB | 2.5 GB | 约 3.0 GB |
| 8 192 | 0.8 GB | 2.5 GB | 约 3.4 GB |
| 32 768 | 3.3 GB | 2.5 GB | 约 5.9 GB |
所以“要不要开 32k”这个问题,得连着显存一起想。4B 加 32k 在我这张卡上确实能跑,但只给计算缓冲留了一 GB 出头,后台开个视频网页就会掉。
8 GB 卡能跑到哪
我这张是 4070 Laptop,8 GB。试下来舒服的区间其实很窄:
- 4B 以下配 Q4_K_M、32k 上下文,能全部放进显存,日常对话很稳。速度随提示长度变化,短问短答几乎感觉不到延迟。
- 7–8B 配 Q3_K_M 或 Q4_K_S、8k 上下文,塞得下,质量已经开始有损,中文长句偶尔跑偏。
- 7–8B 配 Q4_K_M,必须借内存,速度掉到个位数 tok/s。能忍,但我不会拿它当主力。
- 14B 以上就别在 8 GB 卡上折腾了,交互体验差到没有意义。
还有个容易搞混的地方:显存和内存是两套账。模型有一部分切到内存以后,每算一层都要过 PCIe,瓶颈从算力变成带宽。看到“CPU 不高、GPU 也不高、就是慢”,基本就是这个。
我现在的顺序
先看用途。聊天和写作 4B 到 8B 就够,代码补全用 7B 级别,纯聊天别去追大参数。
然后按显存倒推:8 GB 锁 4B,12 GB 可以试 8B,16 GB 以上再考虑 14B。
量化先上 Q4_K_M,跑通之后换 Q5_K_M,拿同一段长文对一下,看看有没有真差别。多数时候我看不出来,那就用小的。
上下文按用途定,日常 8k 够用,要贴长文档再开 32k,开之前先算一眼上面那张表。
榜单放最后看。它在特定数据集上打分,跟我拿它写中文长文不是一回事。
这套流程后来被我做进工具里了:先认 CPU、显卡、内存,再按显存过滤模型库,每个模型标成“能跑满 / 需要 offload / 跑不动”。至少不用再下一个 7 GB 的包然后发现打不开。
本地AI模型工作台
Windows 桌面工具 · 自带 llama.cpp(CUDA 12.4)· 39 个 GGUF 分 6 类 · 不用装 Ollama,也不用填 API Key
打开工具页 模型库、参数与下载安装包直链:/downloads/LocalAIStudio-Setup-1.0.0.exe