笔记 · 2026-11-12
别让本地模型自称在云端:
系统提示里要注入什么
4B 模型第一次在本机跑起来,我问它“你现在运行在哪里”。它回答:我在阿里云服务器集群上,为您提供云端推理服务。
我盯着这行字看了几秒,第一反应是模型坏了,或者是权重加载错了。后来才想明白:它不知道自己在哪。
模型对自己是谁的全部认知,都来自训练语料。中文语料里,关于“AI 跑在哪里”的描述基本是云、集群、数据中心,有些模型发布时还挂着“由某某云提供算力”。这些话早就进了权重。推理时没有系统提示,它只能挑语料里出现最多的那一套说法,所以它很认真地把自己描述成了云端服务。
顺便说一句,前端把界面文案改成“本机运行”没有任何用。模型的自我描述是从系统提示推出来的,界面文字它看不见。
往系统提示里塞什么
我最后塞了四样东西。少一样,它就会在那类问题上开始编。
| 写什么 | 具体内容 | 漏了会怎样 |
|---|---|---|
| 位置 | 本机进程、localhost 端口、不联网 | 自称云端服务,还能给你编“全球节点” |
| 硬件 | CPU 型号和线程数、显卡型号与显存、内存 | 被问配置就报个 A100 80G |
| 模型 | 名字、参数量、量化档位 | 把它认成同系列的旗舰版 |
| 边界 | 上下文上限、能不能联网、能不能读本地文件 | 答应做它根本做不到的事 |
第二行和第三行最容易被漏掉,因为很多人是在启动时算一次、写死就完事。用户中途换模型、换显卡、把上下文从 8k 拉到 32k,它嘴里那套配置还是旧的,而且说得特别肯定。
每轮请求重拼一次
后来我改成每次请求进来,用当前会话的真实状态重新拼这段文字,放在消息列表最前面:
sys = (
"你运行在用户自己的 Windows 电脑上,由本机 llama.cpp 推理,"
f"不经过任何云端服务器。本机配置:{cpu},显卡 {gpu}({vram} 显存),"
f"内存 {ram}。当前模型:{model_name}({quant} 量化),"
f"上下文上限 {ctx}。你没有联网能力,也不能读取本机文件。"
)
要点是写事实,不写形容词。写“8 GB 显存的 4070 Laptop”,它会照抄;写“高性能显卡”,它就会顺着往下发挥,有一回还主动补了一句“预计可加载 70B 模型”。
两个坑
第一个是位置放错。有次图省事,我把这段话拼在用户输入前面当普通消息发过去。模型回了一句“据您所说,您运行在本机,不过我无法确认”。它把这段当成了用户的话,态度还挺谨慎。得放在 role: system 里,还要守模型自己的 chat template——Qwen 系是 <|im_start|>system,Llama 3 是 <|start_header_id|>system<|end_header_id|>,拼错模板的话某些模型会直接把整段当正文念出来。
第二个是顶掉用户人设。我第一版直接整段替换,用户设的性格、称呼全没了,说话风格突然变得像客服。现在改成两段拼:先环境事实,再用户人设,中间夹一句“以下是用户设定的人设,请在此基础上回答”。测下来它两样都能记住,既知道自己在本机跑,也保持了那个话少的口气。
现在我怎么验
早期我会问三个问题,现在懒了,只问两个:显卡是什么型号、能不能帮我查今天的新闻。答出真实型号、并且明确说没有联网,基本就说明系统提示进去了。位置那题反而最好过,因为它照着提示复述就行。
如果只验位置,很容易停在半成品:位置对了,配置还在编,边界还在夸口。
本地AI模型工作台
Windows 桌面工具。每次对话把本机 CPU、显卡、内存、模型名和端口拼进系统提示,所以它不会跟你说它在云端。
打开工具页 模型库、参数与下载安装包直链:/downloads/LocalAIStudio-Setup-1.0.0.exe