手机里只跑 30 亿参数不够用了：端侧 AI 开始拼 MoE 和整条供应链

过去几年，手机上的 AI 功能大多是一个个独立的小工具：语音转文字、照片消除、通话摘要、实时翻译。它们各自解决一个具体问题，彼此之间很少协同。但行业正在判断，端侧 AI 的下一个阶段是系统级智能体——能理解意图、编排任务、直接操作目标 App。问题在于，手机的内存和功耗并不支持把云端那套大模型直接搬过来。

一分钟速览

• 端侧 AI 正从单点功能走向系统级智能体，但主流设备目前只能稳定运行 20 亿至 30 亿参数模型。
• MoE 通过“只激活部分专家”降低单次推理的实际计算量，为端侧部署更高智能水平的模型提供了路径。
• 真正的瓶颈不只在算力，还在 DDR 带宽，以及专家模块从存储到内存的加载速度。
• 高通在进博会的演示，把模型、推理、存储和芯片平台四方拉到同一张桌子上。

从“功能”到“智能体”，差的不只是参数

端侧 AI 并不是从大模型开始的。影像其实是 AI 较早落地的领域之一，手机拍照效果的持续提升，背后就有端侧 AI 的推动。如今，端侧能力已经扩展到简单问答、聊天、图像生成与处理、文本处理、语音转录、实时翻译等多模态应用，其中不少功能在端侧落地的条件已经比较成熟。

但这些应用仍偏向单点。自动语音识别、文本摘要、图片处理、简单聊天机器人，大多只完成一个具体任务。如果希望终端进一步完成意图理解、任务编排、实时操作目标 App 等系统级、规划类任务，就需要更强的端侧模型能力。

现实约束很硬。手机、PC 等设备受内存和功耗限制，目前主流做法通常只能在端侧运行 20 亿至 30 亿参数规模的模型。这个规模足以做好语音识别、摘要、图片处理和简单聊天；但面对复杂任务，完成度和准确度可能只有 60%、70% 或 80%。这不是“完全跑不动”，而是“能跑，但还不够稳”。

MoE 为什么突然成了端侧的必选项

理解 MoE（混合专家模型），可以先和传统 Dense 模型对比。以一个 30 亿参数的 Dense 模型为例，每完成一次推理，30 亿参数都要运行一遍，才能得到最终输出。

MoE 则把参数划分为多个“专家”模块，每个专家负责一部分，可能擅长不同任务。当模型处理某个具体任务时，只需要调用相关的部分专家。比如一个包含 20 个专家的模型，执行某个任务时可能只调用其中 2 至 3 个，而不是让 20 个同时运行。

一个直观的比喻是厨师：Dense 模型像家里只有一位厨师，什么菜系都会一点，但未必每样都最擅长；MoE 像同时有多位分别擅长鲁菜、京菜、淮扬菜的厨师，想吃淮扬菜时只让淮扬菜师傅上手，其他人休息。落到计算上，就是模型虽然拥有很多专家，但一次任务实际参与计算的参数量更少，推理效率更高。

这正是端侧需要的能力：在有限的内存与功耗下，把“智能上限”往上抬，而不是单纯把模型缩小。

难点在执行：预测、预取与加载

MoE 的专家越多，模型总体体量越大。要真正在端侧跑起来，除了模型本身的智能水平，还要解决两个非常实际的问题：如何根据当前任务，提前预测接下来需要调用哪些专家；预测完成后，如何快速从存储中把专家调进内存，让它们及时参与计算。

在大模型推理过程中，DDR 带宽往往是重要瓶颈。如果能够提前判断下一步需要哪些专家，并把它们预取到合适的位置，就能减少等待时间、提高运行效率。

高通在第九届进博会展出的端侧 MoE 智能体演示，正是围绕这些问题展开，由高通与 Infris AI、江波龙、阶跃星辰共同完成。四方在不同环节分工：阶跃星辰提升模型的智能能力；Infris AI 通过推理方案对所需专家模块进行提前预测和预取；江波龙优化专家模块从通用闪存存储（UFS）到内存的加载效率；高通围绕芯片平台和软件栈，优化专家路由、专家预测和缓存预测。这个演示展示的不只是一个模型，而是围绕模型、推理、存储、芯片平台的系统性优化。

端云不是二选一，而是“端侧优先”

高通并不强调端侧的唯一下性，而是强调端云协同，或者叫“计算连续体”，其中一个重要思路是“端侧优先”。传统依赖云端的 AI 服务，每次推理都要消耗云端 Token、GPU 和调度资源，同时依赖网络连接；把合适的 AI 能力部署到端侧，可以减少网络依赖，提供更及时、更稳定的响应，并发挥终端在安全、隐私和个性化上的优势。

用一个比喻来理解：云端更像“通用知识库”，端侧拥有更多属于用户个人的“专业化知识”。端侧可以结合用户是谁、在哪里、过去做过什么、当前处于什么环境，判断用户接下来可能需要什么服务——这也是“主动式 AI 服务”的基础。端侧不是孤立的体系，云端承接需要更强智能和计算的任务，端侧负责实时、稳定、隐私和个性化，两者相互协同。

生态协作才是门槛

随着端侧 AI 发展，高通与产业上下游合作的重点也在变化。目标不再只是把模型“搬”到终端，而是让模型在端侧跑得更好，并进一步集成到手机、PC、眼镜、汽车等不同设备里。

在这个生态里，角色分工越来越清楚：模型厂商提供“智能”，与芯片厂商合作做量化和软件栈优化，让模型更小、推理更快；终端厂商掌握用户入口，拥有设备、操作系统和智能体能力，也承载大量个人数据；开发者把能力带进更多 App 和场景，解决长尾需求；芯片平台提供 NPU 等 AI 处理能力和开发工具，做底座。

这也解释了为什么端侧智能体的竞争不会只是“谁的模型参数多”。它更像一场供应链协同：模型能不能被高效路由，专家能不能被及时预取，存储能不能跟上，系统能不能把权限开放给智能体，任何一环掉链子，用户体验都会退回“单点功能”。

趋势：入口之争会先在端侧打响

当端侧模型从 30 亿参数向更高智能水平推进，手机、PC、汽车和眼镜上的智能体将逐渐具备理解意图、拆解任务、跨 App 操作的能力。那时，用户与设备的交互方式会从“打开 App 做事”变成“说出目标，让智能体去完成”。

对厂商来说，真正的护城河不只是模型分数，而是能否把模型、推理框架、存储和芯片平台组织成稳定可用的系统，并让开发者在上面做出足够多的场景。端侧 AI 的下一程，比拼的会是整条链路的工程能力，而不是单点的参数规模。