Windows 10 / 11 · 桌面安装版 · 离线推理

模型装进你自己的硬盘,
对话不出本机。

它先读你这台电脑的 CPU、显卡、内存,再从模型库里挑一个跑得动的 GGUF, 直接下载到本地磁盘,用程序自带的 llama.cpp(CUDA 12.4)在本机推理。不装 Ollama,不填 API Key,不需要账号,断网也能聊。

装到用户目录,不请求管理员权限 · 数据只写在安装目录的 data\ 里

本地AI模型工作台聊天界面:左侧会话,中间对话,右栏本机显存与推理速度
本机实拍 · 模型真在跑,右栏的显存占用、内存占用、GPU 负载和 tok/s 都是实时的
39 个GGUF 模型版本
6 类按用途分类
8 GB显存跑 8B 参数
100 %推理在本机完成

引擎随程序装好

llama.cpp 的 llama-server 与 CUDA 12.4 运行库放在程序目录的 engine\ 里,第一次打开就能加载模型,不用另装 Ollama。

对话不出网卡

请求发给 127.0.0.1 上你自己启动的推理进程。历史会话、模型文件、日志全在自己目录里,删了就是删了。

模型来自公开仓库

39 个 GGUF 全部指向 ModelScope 的真实仓库,下载不需要登录、不需要令牌,程序里没有付费解锁的功能。

Boundary

它明确不做的事

这四点决定了它和「套壳客户端」的区别 —— 不是省掉步骤,是换了一套做法。

不装 Ollama

推理引擎是这个程序自带的

llama.cpp 的 llama-server 和 CUDA 12.4 运行库已经放在程序目录的 engine\ 里,第一次打开就能加载模型。不用你先装一套 Ollama,也不用每次启动下载几百兆的引擎包。

不上传对话

提示词和回答都只在本机内存里走

对话请求发给 127.0.0.1 上你自己启动的推理进程,不出网卡。历史会话、模型文件、日志全在自己目录里,删了就是删了。

不预置 Key

没有账号、没有余额、没有额度包

模型从 ModelScope 公开仓库下载,不需要登录、不需要令牌。程序里没有任何付费解锁的功能。

不假装在云端

被问到在哪跑,它答「在本机」

模型的训练语料里往往写着「阿里云服务器集群」,不约束它就会照背。程序每次对话都会把本机事实(CPU、显卡、内存、模型名、本地端口)拼进系统提示,明确告诉它运行在这台电脑上。

Interface

界面

本机实拍,模型真在跑,不是演示数据。

本地AI模型工作台模型库:按用途分成六类,卡片上标出本机是否跑得动
模型库按用途分成六类,每个卡片上直接标出「本机跑得动 / 需 5.8 GB / 已下载」
推理蒸馏分类:DeepSeek-R1 蒸馏出来的小模型
推理蒸馏R1 蒸馏的小模型,先写思维链再给结论
模型融合分类:mergekit 合并出的社区版模型
模型融合mergekit 合并权重,风格介于几者之间

Capability

它做什么

从认硬件到聊上天,一条链路全在本地。

01

认出你的电脑

启动就读 CPU 型号与线程数、显卡与显存、内存、磁盘余量、系统版本,给整机打一个「能跑到哪一档」的评级。

02

算清能不能跑

每个模型都按「权重 + KV 缓存 + 运行开销」估一遍,标成全显存、部分显存、CPU 运行或配置不足,不会让你下一个根本跑不动的模型。

03

一键部署到本地磁盘

从 ModelScope 直接下 GGUF 到自己的 models 目录,带断点续传、进度、速度与剩余时间;下完自动校验,坏了就重下。

04

流式聊天

边生成边显示,首字延迟和吐字速度实时算在右栏;支持思维链折叠、Markdown、多轮上下文。

05

切换与卸载

下拉框换一个模型就重新加载,按显存自动决定卸载多少层到 GPU;不用的模型连文件一起删掉,腾出磁盘。

06

断网也能聊

只有下载模型需要联网。模型在盘上、引擎在目录里,断网、关掉浏览器、不登录,都能接着聊。

Model Library

模型库

39 个 GGUF,六个用途分类,全部来 ModelScope 真实仓库;卡片上直接写这个模型在你机器上要多少显存。

轻量极速

7

0.8~2 GB,几秒加载,老电脑也能跑,适合先把链路跑通。

Llama-3.2-1B · SmolLM2-1.7B · Gemma-2-2B · Phi-3-mini

通用对话

13

日常问答、写作、总结、翻译的主力,按语言偏好选。

Qwen2.5-7B · Llama-3.1-8B · GLM-4-9B · Mistral-Nemo-12B

代码编程

4

写代码、读代码、改 bug,支持长上下文。

Qwen2.5-Coder-1.5B / 3B / 7B · DeepSeek-Coder-V2-Lite

推理蒸馏

6

DeepSeek-R1 当老师教出来的小模型,外加一个数学专精。

R1-Distill-Qwen-1.5B / 7B / 14B / 32B · R1-Distill-Llama-8B

模型融合

5

mergekit 把多个模型权重加权合并,风格介于几者之间。

Bagel-8B · Dolphin-2.9 · SauerkrautLM-8b · Hermes-2-Pro · Starling-LM

大模型体验

4

14B 以上,显存装不下会部分卸载到内存,更慢但更强。

Qwen2.5-14B / 14B-1M · Qwen3-14B · Qwen3-30B-A3B

全显存GPU

权重、KV 缓存和运行开销都放得进显存。8 GB 显卡上一般到 8B 参数。

部分显存HYBRID

一部分层卸载到显卡、一部分走内存,速度掉一档,但 14B 也跑得动。

CPU 运行RAM

17 GB 以上的大模型全靠内存跑,慢,但不需要显卡也能试。

Install

装上去

一个安装包,三步。

下载安装包

一个 exe,约 33 MB。双击后选安装位置;勾上「安装推理引擎」就连 llama.cpp 与 CUDA 12.4 一起装好(约 1.2 GB),不勾只装程序本体,首次启动时再补引擎。

打开快捷方式

装完桌面和开始菜单都有「本地AI模型工作台」,不用命令行、不用 .bat。第一次打开会自己识别 CPU、显卡、内存和磁盘余量。

挑一个模型部署

进「模型库」按分类找,卡片上写着这个模型在你机器上需要多少显存。点部署,下完就能聊。

本地AI模型工作台

Windows 10 / 11 · x64 · 安装版,装到用户目录,不请求管理员权限

默认装在 %LOCALAPPDATA%\Programs\本地AI模型工作台;卸载在「应用和功能」里

下载安装包33 MB · 引擎在安装时勾选

引擎包下得慢,就去群文件拿

这台服务器带宽只有 3 Mbps,685 MB 的引擎在这里下大概要半小时。同一个 zip 我也传到了 QQ 群文件,从群里下通常快得多;安装卡住也能在群里问。

669129461 打开 QQ 加群

拿到 engine-cuda12.4.zip 之后,解压到安装目录下的 engine 文件夹(压开后要能直接看到 llama-server.exe),程序启动时会自己认出来,不会再走网络下载。装在默认路径的话就是 %LOCALAPPDATA%\Programs\本地AI模型工作台\engine。

Specification

参数

核对文件和排查启动问题时用得上。

程序形态
Windows 安装版:单文件安装包,装到用户目录,不装服务、不写系统目录,可在安装时勾选是否带引擎
文件构成
安装包 33 MB;装完程序本体约 38 MB(exe + _internal\),勾选引擎再加 1.2 GB(engine\:llama.cpp 与 CUDA 12.4 运行库)
安装包
LocalAIStudio-Setup-1.3.29.exe · 32,894,234 字节 · SHA-256 4D49CD35F209ABFB269488A0D9473A8963113F9D8482CDFC2E00DF593F55B4AC
推理引擎
llama.cpp llama-server(build 12283 / f3b407ca1),CUDA 12.4 x64,随程序内置
引擎包
engine-cuda12.4.zip · 717,272,864 字节 · SHA-256 77290AF9D384CD5C64757302D9FAC398BCA554FDD650C3AE91E4D646AB8195A8
模型格式
GGUF(Q4_K_M 量化),来源为 ModelScope 公开仓库,支持断点续传
模型数量
39 个版本 / 6 个分类(轻量极速 7、通用对话 13、代码编程 4、推理蒸馏 6、模型融合 5、大模型体验 4)
运行位置
http://127.0.0.1:18421(界面)· 127.0.0.1:18422 起(推理进程)
数据目录
程序目录\data\(models 模型 / chats.json 会话 / logs 日志 / config.json 设置)
最低配置
Windows 10 1809 以上、x64、8 GB 内存(能跑 1~3B 小模型);有 6 GB 以上显存可跑 8B
网络
只有下载模型和首次补装引擎需要联网;推理全程离线