← 肥鱼的技术笔记 本地AI部署工具

笔记 · 2026-11-06

在手机上跑 4B 模型:
ARM64 端的实测记录

“手机上本地跑大模型”这话这两年被说了太多遍,听着像随手就能实现。我拿两台安卓机真跑了一遍,记录一下它到底什么水平、卡在哪。

8 GB 中端机 + 12 GB 旗舰机(都是 ARM64)· 模型 4B Q4_K_M,约 2.5 GB


先说能跑。4B Q4_K_M 在 8 GB 内存的机器上稳定对话没问题,速度大概 5 到 12 tok/s,具体看芯片和散热。旗舰那台快一截,但没到翻倍的程度,毕竟都是内存带宽在拖。

首字延迟 1 到 3 秒。这个数字比吞吐更影响体感:你盯着屏幕等第一个字那两秒,会觉得“慢”;等它开始一个字一个字往外蹦,反而觉得还行。所以端侧应用真正该优化的是首字,不是 tok/s。

内存是硬门槛

模型 2.5 GB,加 KV cache、加应用本身,峰值很容易摸到 4 到 5 GB。8 GB 的机器勉强够,6 GB 的机器基本没戏——不是在加载时崩,就是切到后台被系统清掉。

安卓的 Low Memory Killer 会对高内存进程动手,切后台之后尤其容易。所以端侧工程的难点不是“跑得快”,是“别被杀”。我最后是这么处理的:模型文件 mmap 映射、不一次性读进堆、切后台释放计算缓冲、回前台再懒加载。

还有个细节,模型文件放应用私有目录比放公共存储稳。公共目录在部分机型上会因为权限或者媒体扫描被挪位置,表现就是“昨天还能用的模型,今天不见了”,用户完全不知道发生了什么。

热起来之后

连续聊六七分钟,机身开始烫,芯片降频,速度掉到起始值的一半左右。这不是代码写得不好,是物理限制。想稳一点只能限制上下文、减少并发,或者干脆接受聊一会儿歇一会儿。

我试过在壳里加散热片,能多撑几分钟,但也就几分钟。

和云端比,赢在哪

手机本地接自己的 API
隐私对话不出设备请求要发出去
断网能用不能用
速度5–12 tok/s一般几十 tok/s 起
能力上限4B 级别看你买什么模型
成本一次性下模型按 token 算钱
发热耗电明显几乎没有

定位其实很清楚:隐私敏感、经常没网、只需要短对话。要写长文、要翻长文档、要做复杂推理,还是得接云端。这两边不是替代关系,是把不同场景分开。

我最后怎么定的

「肥鱼对话」就按这个思路做:同一个对话界面里放两档,一档是下到手机的本地模型,一档是用户自己填接口地址和 Key 的云端模型,随时切。本地档不预置额度也不预置密钥,云端档不经过我的服务器,请求从手机直接发到用户填的地址。

代价是本地档的上限被 4B 卡住,首次还要下 2.5 GB。换来的是断网能用,聊天记录和内容都不离开设备。对一部分人这个交换值,对另一部分人不值,所以做成可切的两档,而不是只留一档。

肥鱼对话 6.21.10

安卓端 · ARM64 · Android 8.0 以上 · 46,596,552 字节 · 本地模型和自填接口两档,随时切

下载安卓版 arm64 · 手动安装

SHA-256 C8CF02306F57A461180328CB02D30CBDAF0FCC90D0C0FCFD1DFC58301A07EA5B