个人技术笔记 · 本地大模型 · Windows / Android
把模型跑在自己设备上,
过程写在这里。
这里记的是我在笔记本和手机上部署大模型的过程:GGUF 量化怎么挑、显存怎么估、 llama.cpp 怎么打包进 Windows 程序、端侧推理到底能跑多快。基本都是自己踩过的坑,顺带放上两个我写的软件。
笔记
部署过程里的判断和踩坑,写下来省得下次再想一遍别让本地模型自称在云端:系统提示里要注入什么
第一次在本机跑 4B 模型,我问它在哪,它说在阿里云集群。问题不在模型,在系统提示。
显存不够时,按层 offload 的真实代价
8 GB 卡跑 7B 得把一部分层放内存,我照 -ngl 一档一档试,速度掉到个位数,GPU 占用却只有 30%。
tok/s 这个数字很容易算错
界面显示 300 tok/s,命令行只有 18。分子混进了思维链,分母混进了等首字的时间。
挑 GGUF:量化档位、显存估算,8 GB 显卡怎么选
同一个模型我下错了三次。后来才算清 KV cache 会吃掉多少显存,8 GB 卡到底能跑到多大。
把 llama.cpp 装进 Windows 程序:安装器的五个坑
功能两天写完,剩下那一周全在五个坑里:窗口不弹、界面全白、找不到 powershell、断网重下、下载链接被掐。
在手机上跑 4B 模型:ARM64 端的实测记录
两台安卓机实测:5 到 12 tok/s,聊六七分钟就烫到降频,8 GB 内存是那道坎。
我的项目
两个自己写的免费软件,都能在站内直接下载肥鱼对话:它明确不做的事
先写清楚边界,省得下完才发现不是想要的东西- 不代收费用
-
这里没有钱包,也没有“升级解锁”
模型的钱你直接付给你用的那家服务商,不经过我。所以应用里没有余额、卡密、额度包,也没有哪项功能要付钱才给用。想知道花多少,去服务商后台看。
- 不中转对话
-
你填的地址,就是请求实际去的地方
中间没有我的一台服务器转一道手,聊天内容也不落在我这里。本地模型那一档更彻底,请求根本不出手机。
- 不动别的应用
-
不读屏幕,也不替你点东西
应用没有无障碍服务、没有通知监听、没有自带输入法,也不申请装别的应用的权限。它只干一件事:把你说的话发出去,把回答拿回来。
界面
模拟器 1920×1080 实拍,未做修图


它做什么
装了能用的功能,仅此而已本地小模型
下载量化模型到手机上,断网也能聊,回答不出你的手机。
接你自己的大模型
填接口地址、模型名和 Key,DeepSeek、通义、月之暗面这类兼容 OpenAI 格式的接口都能接。
两档随时切
同一个对话界面里切「本地」和「我的云端」,切过去不用重开对话,历史还在一个列表里。
人格代码
填性格、情绪、喜好,生成一张可保存的人格卡,对两档都生效。
图片生成
用你接的模型出图,云端和本地都能选。
收藏与账号同步
登录只用于同步收藏和账号资料;聊天记录本身留在你的手机上。
肥鱼对话:装到手机上
三步,五分钟下载安装包
用手机浏览器点下面的按钮下载,约 44 MB。上架后也可以在应用商店里搜「肥鱼对话」。
允许安装
系统会提示「不允许安装未知来源应用」,在设置里给浏览器打开这个开关,再回来点安装。
填上你的 Key
进「模型 → 添加模型」,填接口地址、模型名和 API Key,保存后回到对话页就能聊。
肥鱼对话 6.21.10
Android 8.0 及以上 · arm64-v8a · 46,596,552 字节
SHA-256 C8CF02306F57A461180328CB02D30CBDAF0FCC90D0C0FCFD1DFC58301A07EA5B
配套的桌面端
手机上聊得动的,电脑上能跑得更大本地AI模型工作台
Windows 端桌面工具:先识别本机 CPU / 显卡 / 内存,再从 39 个 GGUF 模型里挑一个跑得动的 下载到本地磁盘,用程序内置的 llama.cpp(CUDA 12.4)在本机推理。不装 Ollama,不填 API Key,断网也能聊。
单文件安装包 33 MB · 安装时可选勾选推理引擎(1.2 GB)· Windows 10 / 11 x64
网速慢的话,引擎包可以从群文件拿
这台服务器带宽只有 3 Mbps,685 MB 的推理引擎从网页下大概要半小时。我把同一个 zip 传到了 QQ 群文件,从群里下通常快得多;装的时候卡住也可以在群里问。
拿到 engine-cuda12.4.zip 之后,解压到安装目录下的 engine 文件夹(压开后要能直接看到 llama-server.exe),程序启动时会自己认出来,不用再走网络下载。
参数
核对安装包时用得上更新记录
站内软件与文章的变更,按时间倒序关于本站
一个人维护的个人站点这个站是我一个人弄的。没有团队,没有编辑部,也没有排期表,想写就写,写完就放上来。 内容基本都是自己电脑和手机上折腾出来的问题:模型怎么挑、显存怎么算、打包时卡在哪、手机端到底能跑到什么程度。踩过的坑记下来,省得下次再想一遍。
站里放了两个我自己写的软件,都是免费的。没有会员,没有充值,没有广告,也不收你的聊天内容。 文章里的数字都是我自己机器上测的,换台设备未必一样,别当标准值看。
有事可以在页脚的 QQ 找我。站点已完成 ICP 备案,编号挂在页脚,点进去可以到工信部备案系统核对。