笔记 · 2026-11-12
tok/s 这个数字很容易算错
同样一条链路、同一个模型,我这边客户端显示 300 tok/s,换成命令行工具测出来只有 18。物理上不可能差这么多,说明至少有一个是算错的。
先说当时的现象:界面上一行正文才出来二十来个字,右上角的“吐字速度”已经跳到 300 多。我一度以为自己的机器有什么神奇优化,截图发出去之前又随手用服务端的 timings 对了一遍,才发现差了一个数量级。
第一处:把思考也算进正文
现在的模型常带 reasoning_content,思维链单独返回。我的流式解析当时图省事,delta.content 和 delta.reasoning_content 都往同一个字数变量里加,界面却只显示正文。
结果就是:屏幕上二十个字,计数器已经走了四百,分母又是很短的时间窗口,速度自然飞起来。这不是显示数字不准的小毛病,它会让你误判模型性能,还会把这个错数写进笔记。
改法很土:分两个计数器。正文一个,思维链一个。界面只算前一个。
第二处:分母把等首字的时间也算了
还有一次是反过来的,显示只有十几 tok/s,比我预期低一半。查下来是计时从点击发送就开始了,一直到最后一个字出完,中间包含了排队、提示处理、网络往返。
长提示下 prefill 动辄十几秒,摊到输出上速度立刻腰斩。但用户在意的其实是两件不同的事:多久能看到第一个字,以及字蹦得快不快。混成一个数就两边都不准。
| 从什么时候算 | 算到什么时候 | 它反映什么 | |
|---|---|---|---|
| 首字延迟 | 发出请求 | 第一个可见字 | 排队 + prefill,体感上的“卡” |
| 吐字速度 | 第一个可见字 | 最后一个字 | 纯生成阶段,跨模型能比 |
顺带一个:汉字不能直接当 token
中文分词差别挺大,同样 100 个汉字,Qwen 系可能切 120 个 token,换个模型只切 90。拿“字/秒”当 tok/s 显示,跨模型比会失真,不过量级是对的,比拿字节数去比强得多。
要严格测量就别在前端算,用服务端给的数:
tok_per_sec = predicted_n / (predicted_ms / 1000)
llama.cpp 的 timings 里有这两个字段,直接用。前端再算一遍的唯一结果是:同一句话,两个地方显示两个速度。
现在右栏长这样
首字延迟和吐字速度并排放,各自独立统计。速度优先取服务端 timings,取不到才用“可见正文字数 / 从首字到末字的毫秒”兜底,并且标一句“估算”。思维链和工具调用的参数都不进正文字数。
非流式请求没有“首字”这个概念,就只报总耗时和总速度,硬套流式公式只会得到一个没人看得懂的数。
改完这几处,本地客户端和 llama-bench 的数终于对得上了。以后再对不上,我先怀疑口径,再怀疑硬件。
本地AI模型工作台
右栏实时显示首字延迟、吐字速度、显存和 GPU 负载。速度走服务端 timings,不掺思维链的字数。
打开工具页 模型库、参数与下载安装包直链:/downloads/LocalAIStudio-Setup-1.0.0.exe