淘宝把 0.3B 模型塞进手机：iPhone 18 Pro 离线跑出 350 token/s，峰值内存只多用 228MB

手机上的 AI 助手一直有个说不出口的妥协：把问题发到云端，快，但没网就用不了；把模型放到本地，又慢又吃内存，开着相机、刷着视频的应用很容易被系统直接清掉。11 月 6 日，淘宝 MNN 团队开源了 MNN-Pocket-0.3B，试图把这道单选题变成”两个都要”。

一分钟速览

• 约 3 亿参数，面向手机应用原生场景，重点支持中文与英文
• iPhone 18 Pro 真机完全离线，平均解码速度约 350 token/s
• INT4 部署文件仅 173MB，iPad Pro M5 上峰值内存增量 228MB
• 英文 IFEval 73.20、中文 IFEval-zh 74.59，11 项评测平均 50.00
• 一加 13 实测：100 次标准推理累计耗电约占电池 0.3%

先写预算，再选模型

这个项目最值得学的地方不是模型本身，而是团队先立了四条工程预算：解码吞吐超过 200 token/s、峰值内存低于 300MB、单次推理能耗不超过电池总量的万分之一（即 100 次推理耗电不超过 1%）、在指定业务场景上达到 8B 级模型的效果。四条预算写死之后，架构搜索才有意义。团队在 5000 万到 13 亿参数之间铺了一批稠密模型配置，在 iPad Pro M5 的统一设置下逐个体测，最终发现约 3 亿参数是同时满足”内存 300MB 以内、吞吐 200 token/s 以上”的最大候选规模。

规模定了，还得在同样参数预算里抠结构。团队把层数从 16 层加到 28 层，能力明显提升；继续加到 36 层，评测均分不再上涨，解码吞吐反而从 355 token/s 掉到 323 token/s。于是 28 层成了最终选择，配上前馈网络、注意力与分组查询注意力的联合调整。

词表从 151K 砍到 64K

面向中文互联网应用，团队把中英文当成主力语言，其余语种的分词效率主动降级。基于 Qwen3 分词器，词表从约 151K 精简到 64K，缩减约 57%。这一步看着不起眼，实际省的是词嵌入与输出投影的参数量和存储——逐 token 生成时，输出层是每一 token 都要过一遍的地方，词表小一半，单步开销就少一截。

实测：比 Qwen3-0.6B 小一半，跑得更快

iPhone 18 Pro 上完全离线运行，平均解码约 350 token/s，INT4 部署包 173MB。iPad Pro M5、Metal 后端、512 token 配置下，Prefill 吞吐 8721 token/s，Decode 466 token/s，约为同条件 Qwen3-0.6B（286 token/s）的 1.63 倍；换到骁龙 8 Gen 5 的 CPU 后端，Decode 仍有 251 token/s。

内存对比更直观：同一测试中，Qwen3-0.6B 部署文件 340MB、峰值内存增量 427MB；MNN-Pocket-0.3B 分别是 173MB 和 228MB，体积少约 49%，内存增量少约 47%。对一个要同时加载图片、视频、列表页的手机应用来说，这 200MB 的差额往往就是”能不能常驻”的分界线。

能力上，11 项覆盖中英文知识、推理、数学、代码与指令遵循的评测里，平均分 50.00，高于报告列出的同规模模型，也高于 MiniCPM4-0.5B、Qwen3-0.6B 这类更大的对比模型。中文数学 MGSM-zh 51.20，代码生成 HumanEval 53.66。需要说明的是，这些都是团队自建评测设置下的结果，跨榜单直接比较要谨慎，但”0.3B 打 0.5B 到 0.6B”的结论在多个维度上是一致的。

开源的不是一个模型，是一条产线

MNN 团队这次放出的是一整套版本：Base 用于继续预训练与领域适配，SFT 用于后训练和蒸馏实验，指令版用于业务任务适配，MNN 版是 W4A16 量化后的端侧部署包，另外还有 DFlash2 投机解码草稿模型和带决策头的 Dec 版本。其中 DFlash2 配合推理引擎的块级生成与验证，在特定任务下解码吞吐可达常规自回归的 2.06 倍。对做端侧应用的团队来说，拿到手能直接从”继续训练”走到”上线”，不用自己补中间环节。

端侧模型的竞争，换了一条赛道

过去一年端侧模型比的是榜单分数，谁在小参数上跑分高谁赢。MNN-Pocket-0.3B 给出的信号是：真正的门槛在预算表上——下载包多大、常驻内存多少、跑一百次掉几格电、离线能不能顶住。这四项决定了模型是”演示视频里的能力”，还是”用户每天真的会碰到的功能”。当模型体积压到 173MB、内存增量压到 228MB、100 次推理只花 0.3% 电量，端侧 AI 才有可能从设置页里的一个开关，变成输入框旁边那个默认打开的按钮。

开源地址：github.com/alibaba/mnn