今天淘宝 MNN 团队开源了一个叫 MNN-Pocket-0.3B 的模型。名字不重要，数字才重要：在 iPhone 18 Pro 上完全离线，平均解码每秒 350 个 token；打包成 INT4 只有 173MB；峰值内存压在 300MB 以下。

350 token/s 是什么概念？人读书大概一秒十几个字，而这个速度已经是「眼睛跟不上它」。盯着屏幕等它一个字一个字蹦的时代，在手机上基本结束了。至于 173MB——相册里随便一段两分钟的视频都比它大。

先泼盆冷水。这些数都是在官方口径的「指定设备与上下文配置」下测的，评测表也是团队自己搭的。那句「达到 8B 级效果」，前面有个定语：指定业务场景。它不会替你写代码。0.3B 就是 3 亿参数，跟云端千亿级模型差两个数量级，不是优化能抹平的。

但这次最有意思的不是模型多能干，是他们怎么定的目标。

过去两年，把 AI 塞进手机基本就是往里硬塞：挑个 8B 甚至更大的模型，靠 NPU 堆算力、量化硬压精度，结果手机烫、掉电、内存被吃掉一大块。MNN 这次反过来，先把预算钉死——峰值内存低于 300MB、解码超过 200 token/s、一百次推理耗电不超过电池的 1%，再在框里找能装下的最大模型。从 5000 万参数试到 13 亿，约 3 亿是同时满足两条线的最大候选。层数再加也没用：28 层到 36 层，分数没涨，速度反掉。

这是工程思路，不是炫技：先量好柜子再买家电，而不是扛回双开门冰箱才发现门进不去。

还有个对比：同一个模型，iPad Pro M5 上跑 466 token/s，iPhone 18 Pro 上 350，骁龙 8 Gen 5 的纯 CPU 后端也有 251。安卓能跑，苹果也能跑。这意味着端侧 AI 成不了谁的独家卖点——它更像基础能力，谁的模型够小、够省、集成得顺手，谁先上桌。芯片的 TOPS 写在参数表上好看，可对用户来说能不能不用等才是真的。

AI 进手机要跨的门槛从来不是聪明程度，是三件很土的事：不用联网、不用等、不用把话传出去。云端大模型像点外卖，好用但得等骑手；端侧小模型像厨房那袋挂面，谈不上好吃，可凌晨两点能救命，还不用下楼。

所以我不太关心下一代芯片的 NPU 有多少 TOPS，我更想知道明年输入法、相册、备忘录里那些小按钮，会不会变成一个不用转圈的东西。