Windows 10 / 11 · 桌面安装版 · 离线推理
模型装进你自己的硬盘,
对话不出本机。
它先读你这台电脑的 CPU、显卡、内存,再从模型库里挑一个跑得动的 GGUF, 直接下载到本地磁盘,用程序自带的 llama.cpp(CUDA 12.4)在本机推理。不装 Ollama,不填 API Key,不需要账号,断网也能聊。
装到用户目录,不请求管理员权限 · 数据只写在安装目录的 data\ 里

引擎随程序装好
llama.cpp 的 llama-server 与 CUDA 12.4 运行库放在程序目录的 engine\ 里,第一次打开就能加载模型,不用另装 Ollama。
对话不出网卡
请求发给 127.0.0.1 上你自己启动的推理进程。历史会话、模型文件、日志全在自己目录里,删了就是删了。
模型来自公开仓库
39 个 GGUF 全部指向 ModelScope 的真实仓库,下载不需要登录、不需要令牌,程序里没有付费解锁的功能。
Boundary
它明确不做的事
这四点决定了它和「套壳客户端」的区别 —— 不是省掉步骤,是换了一套做法。
推理引擎是这个程序自带的
llama.cpp 的 llama-server 和 CUDA 12.4 运行库已经放在程序目录的 engine\ 里,第一次打开就能加载模型。不用你先装一套 Ollama,也不用每次启动下载几百兆的引擎包。
提示词和回答都只在本机内存里走
对话请求发给 127.0.0.1 上你自己启动的推理进程,不出网卡。历史会话、模型文件、日志全在自己目录里,删了就是删了。
没有账号、没有余额、没有额度包
模型从 ModelScope 公开仓库下载,不需要登录、不需要令牌。程序里没有任何付费解锁的功能。
被问到在哪跑,它答「在本机」
模型的训练语料里往往写着「阿里云服务器集群」,不约束它就会照背。程序每次对话都会把本机事实(CPU、显卡、内存、模型名、本地端口)拼进系统提示,明确告诉它运行在这台电脑上。
Interface
界面
本机实拍,模型真在跑,不是演示数据。
Capability
它做什么
从认硬件到聊上天,一条链路全在本地。
认出你的电脑
启动就读 CPU 型号与线程数、显卡与显存、内存、磁盘余量、系统版本,给整机打一个「能跑到哪一档」的评级。
算清能不能跑
每个模型都按「权重 + KV 缓存 + 运行开销」估一遍,标成全显存、部分显存、CPU 运行或配置不足,不会让你下一个根本跑不动的模型。
一键部署到本地磁盘
从 ModelScope 直接下 GGUF 到自己的 models 目录,带断点续传、进度、速度与剩余时间;下完自动校验,坏了就重下。
流式聊天
边生成边显示,首字延迟和吐字速度实时算在右栏;支持思维链折叠、Markdown、多轮上下文。
切换与卸载
下拉框换一个模型就重新加载,按显存自动决定卸载多少层到 GPU;不用的模型连文件一起删掉,腾出磁盘。
断网也能聊
只有下载模型需要联网。模型在盘上、引擎在目录里,断网、关掉浏览器、不登录,都能接着聊。
Model Library
模型库
39 个 GGUF,六个用途分类,全部来 ModelScope 真实仓库;卡片上直接写这个模型在你机器上要多少显存。
轻量极速
70.8~2 GB,几秒加载,老电脑也能跑,适合先把链路跑通。
Llama-3.2-1B · SmolLM2-1.7B · Gemma-2-2B · Phi-3-mini
通用对话
13日常问答、写作、总结、翻译的主力,按语言偏好选。
Qwen2.5-7B · Llama-3.1-8B · GLM-4-9B · Mistral-Nemo-12B
代码编程
4写代码、读代码、改 bug,支持长上下文。
Qwen2.5-Coder-1.5B / 3B / 7B · DeepSeek-Coder-V2-Lite
推理蒸馏
6DeepSeek-R1 当老师教出来的小模型,外加一个数学专精。
R1-Distill-Qwen-1.5B / 7B / 14B / 32B · R1-Distill-Llama-8B
模型融合
5mergekit 把多个模型权重加权合并,风格介于几者之间。
Bagel-8B · Dolphin-2.9 · SauerkrautLM-8b · Hermes-2-Pro · Starling-LM
大模型体验
414B 以上,显存装不下会部分卸载到内存,更慢但更强。
Qwen2.5-14B / 14B-1M · Qwen3-14B · Qwen3-30B-A3B
权重、KV 缓存和运行开销都放得进显存。8 GB 显卡上一般到 8B 参数。
一部分层卸载到显卡、一部分走内存,速度掉一档,但 14B 也跑得动。
17 GB 以上的大模型全靠内存跑,慢,但不需要显卡也能试。
Install
装上去
一个安装包,三步。
下载安装包
一个 exe,约 33 MB。双击后选安装位置;勾上「安装推理引擎」就连 llama.cpp 与 CUDA 12.4 一起装好(约 1.2 GB),不勾只装程序本体,首次启动时再补引擎。
打开快捷方式
装完桌面和开始菜单都有「本地AI模型工作台」,不用命令行、不用 .bat。第一次打开会自己识别 CPU、显卡、内存和磁盘余量。
挑一个模型部署
进「模型库」按分类找,卡片上写着这个模型在你机器上需要多少显存。点部署,下完就能聊。
本地AI模型工作台
Windows 10 / 11 · x64 · 安装版,装到用户目录,不请求管理员权限
默认装在 %LOCALAPPDATA%\Programs\本地AI模型工作台;卸载在「应用和功能」里
引擎包下得慢,就去群文件拿
这台服务器带宽只有 3 Mbps,685 MB 的引擎在这里下大概要半小时。同一个 zip 我也传到了 QQ 群文件,从群里下通常快得多;安装卡住也能在群里问。
拿到 engine-cuda12.4.zip 之后,解压到安装目录下的 engine 文件夹(压开后要能直接看到 llama-server.exe),程序启动时会自己认出来,不会再走网络下载。装在默认路径的话就是 %LOCALAPPDATA%\Programs\本地AI模型工作台\engine。
Specification
参数
核对文件和排查启动问题时用得上。