站点图标 肥鱼的技术笔记 个人技术博客 · 非商业 笔记 本地AI部署工具

个人技术笔记 · 本地大模型 · Windows / Android

把模型跑在自己设备上,
过程写在这里。

这里记的是我在笔记本和手机上部署大模型的过程:GGUF 量化怎么挑、显存怎么估、 llama.cpp 怎么打包进 Windows 程序、端侧推理到底能跑多快。基本都是自己踩过的坑,顺带放上两个我写的软件。

个人站点 · 非商业 · 软件免费提供 · 站内不含交易与充值

笔记

部署过程里的判断和踩坑,写下来省得下次再想一遍

我的项目

两个自己写的免费软件,都能在站内直接下载

肥鱼对话 · 安卓端

手机上的对话客户端。一档把 4B 模型下到手机里本地跑,断网也能聊;一档填自己的接口地址和 Key,直连你买的那家模型服务。里面没有余额,也没有要付钱才能解锁的功能。

本地AI模型工作台 · Windows

桌面工具。先看你机器的 CPU、显卡和内存,再从模型库里挑一个跑得动的下下来,用自带的 llama.cpp 在本机推。不用装 Ollama,也不用填 Key。装的时候能勾上推理引擎,一次装完。

肥鱼对话:它明确不做的事

先写清楚边界,省得下完才发现不是想要的东西
不代收费用

这里没有钱包,也没有“升级解锁”

模型的钱你直接付给你用的那家服务商,不经过我。所以应用里没有余额、卡密、额度包,也没有哪项功能要付钱才给用。想知道花多少,去服务商后台看。

不中转对话

你填的地址,就是请求实际去的地方

中间没有我的一台服务器转一道手,聊天内容也不落在我这里。本地模型那一档更彻底,请求根本不出手机。

不动别的应用

不读屏幕,也不替你点东西

应用没有无障碍服务、没有通知监听、没有自带输入法,也不申请装别的应用的权限。它只干一件事:把你说的话发出去,把回答拿回来。

界面

模拟器 1920×1080 实拍,未做修图
肥鱼对话聊天页
对话 · 空会话时的状态,输入框上面是模型与开关
肥鱼对话模型页
模型 · 本地小模型、全部模型、添加模型、人格代码、图片生成
肥鱼对话我的页
我的 · 账号、收藏、通知、设置、更新日志、修改密码

它做什么

装了能用的功能,仅此而已

本地小模型

下载量化模型到手机上,断网也能聊,回答不出你的手机。

接你自己的大模型

填接口地址、模型名和 Key,DeepSeek、通义、月之暗面这类兼容 OpenAI 格式的接口都能接。

两档随时切

同一个对话界面里切「本地」和「我的云端」,切过去不用重开对话,历史还在一个列表里。

人格代码

填性格、情绪、喜好,生成一张可保存的人格卡,对两档都生效。

图片生成

用你接的模型出图,云端和本地都能选。

收藏与账号同步

登录只用于同步收藏和账号资料;聊天记录本身留在你的手机上。

肥鱼对话:装到手机上

三步,五分钟

下载安装包

用手机浏览器点下面的按钮下载,约 44 MB。上架后也可以在应用商店里搜「肥鱼对话」。

允许安装

系统会提示「不允许安装未知来源应用」,在设置里给浏览器打开这个开关,再回来点安装。

填上你的 Key

进「模型 → 添加模型」,填接口地址、模型名和 API Key,保存后回到对话页就能聊。

肥鱼对话应用图标

肥鱼对话 6.21.10

Android 8.0 及以上 · arm64-v8a · 46,596,552 字节

SHA-256 C8CF02306F57A461180328CB02D30CBDAF0FCC90D0C0FCFD1DFC58301A07EA5B

下载安卓版 arm64 · 不走应用商店时手动安装

配套的桌面端

手机上聊得动的,电脑上能跑得更大

本地AI模型工作台

Windows 端桌面工具:先识别本机 CPU / 显卡 / 内存,再从 39 个 GGUF 模型里挑一个跑得动的 下载到本地磁盘,用程序内置的 llama.cpp(CUDA 12.4)在本机推理。不装 Ollama,不填 API Key,断网也能聊。

单文件安装包 33 MB · 安装时可选勾选推理引擎(1.2 GB)· Windows 10 / 11 x64

打开工具官网 模型库、参数与下载

网速慢的话,引擎包可以从群文件拿

这台服务器带宽只有 3 Mbps,685 MB 的推理引擎从网页下大概要半小时。我把同一个 zip 传到了 QQ 群文件,从群里下通常快得多;装的时候卡住也可以在群里问。

669129461 打开 QQ 加群

拿到 engine-cuda12.4.zip 之后,解压到安装目录下的 engine 文件夹(压开后要能直接看到 llama-server.exe),程序启动时会自己认出来,不用再走网络下载。

参数

核对安装包时用得上
版本
6.21.10(versionCode 411)
包名
com.dayu.localchat.store
安装包
46,596,552 字节
签名摘要
SHA-256 C8CF02306F57A461180328CB02D30CBDAF0FCC90D0C0FCFD1DFC58301A07EA5B
架构
arm64-v8a(近几年绝大多数安卓手机)
系统要求
Android 8.0(API 26)及以上,targetSdk 33
明文 HTTP
不允许,只走 HTTPS
所申请权限
网络与网络状态、麦克风录音、图片读取(Android 13 以下为存储读取)

更新记录

站内软件与文章的变更,按时间倒序
2026-11-12
本地AI模型工作台换用新图标,程序本体与安装包重新打包;安装包 33 MB,参数页的 SHA-256 同步更新。
2026-11-12
本地AI模型工作台 1.0.0 安装版发布:单文件安装包,安装时可选勾选推理引擎(1.2 GB),装到用户目录、不请求管理员权限。
2026-11-12
站点改版为技术笔记结构,六篇部署笔记上线,下载入口保留在「我的项目」与各篇文章末尾。
2026-11-10
肥鱼对话 6.21.10 安卓安装包更新:本地模型档与自填接口档,包名 com.dayu.localchat.store。

关于本站

一个人维护的个人站点

这个站是我一个人弄的。没有团队,没有编辑部,也没有排期表,想写就写,写完就放上来。 内容基本都是自己电脑和手机上折腾出来的问题:模型怎么挑、显存怎么算、打包时卡在哪、手机端到底能跑到什么程度。踩过的坑记下来,省得下次再想一遍。

站里放了两个我自己写的软件,都是免费的。没有会员,没有充值,没有广告,也不收你的聊天内容。 文章里的数字都是我自己机器上测的,换台设备未必一样,别当标准值看。

有事可以在页脚的 QQ 找我。站点已完成 ICP 备案,编号挂在页脚,点进去可以到工信部备案系统核对。