百度开源文心 5.5 Flash Base：2800 亿参数 MoE，每个 token 只激活 140 亿

开源一个 2800 亿参数的模型，却让每个 token 只激活 140 亿——这不是”缩水”，而是一种明确的产品判断：企业真正付不起的，是长上下文与智能体任务叠加起来的算力账单。

11 月 5 日，百度正式开源基座模型文心 5.5 Flash Base（ERNIE 5.5 Flash Base）。它采用 MoE 架构，总参数量 2800 亿，每个 token 激活 140 亿参数，使用 33.5 万亿个 token 完成预训练，预训练上下文长度最高 128K，微调与推理阶段支持最长 100 万 token。在知识、推理、数学、代码、多语言和长上下文等多个基准测试中，它取得了同尺寸模型的 SOTA，超过 DeepSeek-V4-Flash-Base、Hy3-preview-Base、MiMo-V2.5-Base 等模型。

一分钟速览

• MoE 架构，总参数 2800 亿，每 token 激活 140 亿。
• 33.5 万亿 token 预训练，预训练上下文 128K，微调与推理最长支持 100 万 token。
• 知识、推理、数学、代码、多语言、长上下文多项基准同尺寸 SOTA。
• 提出 Latent-Gated Sparse Attention、Multi-Router Latent MoE 与 ECHO 训练目标。
• 权重已在 Hugging Face 开放，供开发者微调与二次开发。

为什么把”效率”当主线

大模型的应用重心正在从文本问答转向长文档分析、多轮交互和智能体任务。信息量变大，计算和显存开销跟着上涨，一个绕不开的问题是：在保住能力的前提下，怎么把每个 token 的成本压下来。

文心 5.5 Flash Base 的答案落在三个环节：注意力机制、专家路由、训练目标。

注意力：把”记得住”和”看得细”拆开

新模型提出 Latent-Gated Sparse Attention，把混合稀疏注意力、低秩门控注意力与虚拟头注意力组合起来。它通过组合 HCA 与 MLA，让不同的注意力层分别承担压缩历史信息和细粒度访问历史位置的任务——一层负责”记得住”，一层负责”看得细”。

低秩门控注意力（Low-Rank Gated Attention）用已有的低维表示计算信息门控，使门控投影权重参数减少 75%。虚拟头注意力（Virtual Head Attention，VHA）用来提升模型表达力与训练质量，推理时直接融合进注意力算子，几乎不增加开销。这些设计的共同目标，是降低长上下文处理的资源占用，同时保住对关键信息的检索能力。

路由：不让一个路由器决定一切

MoE 的老问题是路由评分与专家实际效用之间的错位：评分高的专家未必真的有用。文心采用 Multi-Router Latent MoE，由多个独立路由器共同参与专家选择，降低单一评分偏差的影响，同时保持激活专家数量、专家计算量和通信量不变。换句话说，它想在不加推理成本的前提下，把”选谁干活”这件事做得更准。

训练目标：复用最后一层，省掉一个模块

ECHO 是这次比较有意思的一项设计。传统做法会额外挂一个多 token 预测（MTP）模块，让模型学习预测后续 token；ECHO 不加模块，直接复用主干的最后一层，让主干自己学预测后续 token，从而提前规划序列走向，提升推理与代码能力。

更实用的是副产品：这一层还能直接当投机解码的草稿模型。文心 5.5 Flash 只做了单步 ECHO 预训练，但多步起草的质量明显优于辅助 MTP 模块——同样只训练一步，却具备多步外推能力。对推理服务来说，这意味着不用再单独维护一个草稿模型。

基建：优化器与算子

架构之外，百度还调整了训练系统：对分布式 Muon 优化器做了优化，并推出面向大 head dim 的注意力算子 FlashMask-4，改善大规模训练中的通信、显存利用与计算效率。模型能力的上限，往往由训练系统能不能高效支撑这些设计决定。

为什么开的是 Base，不是 Chat

Base 模型承载预训练阶段形成的通用能力，和面向终端用户的应用模型不同，它给开发者和企业留出了微调与定制的空间。开放基座，等于把”最后一公里”交给社区：企业可以基于自己的业务数据构建专业模型，降低训练成本与技术门槛。

从竞争角度看，这次发布也标出了一个坐标。2800 亿总参数、140 亿激活参数，稀疏比约 5%；对比对象是同尺寸的 Flash 级模型，而不是旗舰稠密模型。这说明这一轮开源竞争的焦点，已经从”参数规模”转向”单位 token 能换回多少能力”。接下来值得观察的，是社区在真实业务数据上的微调效果，以及 100 万 token 上下文在实际服务中的显存与延迟表现。