不再逐个吐字:扩散语言模型 Clover-35B 开源,空管任务比 Qwen 快 8.5 倍
想象一个空管调度台:屏幕上滚过 20 条报文,每条都夹着地点、半径、高度和生效时间。人要把它们读…
文章目录
想象一个空管调度台:屏幕上滚过 20 条报文,每条都夹着地点、半径、高度和生效时间。人要把它们读成一张三维禁飞区地图,通常需要几分钟;一个语言模型如果按从左到右、一个字一个字往外蹦的方式生成,光输出结构化结果就要花掉大半时间。深圳一家创业公司想换一种写法——不逐字生成,而是像图像去噪一样,一次铺开一整块文本,反复修正到收敛。
10 月 28 日,扩散智能(DiffuSpace)发布并开源 Clover-35B-A3B-Preview。这是一个采用混合专家架构的扩散语言模型,总参数 350 亿,每次推理只激活约 30 亿。团队称其生成速度达到 680 tokens/s,并在部分智能体任务上追平甚至超过同等规模的自回归模型。
一分钟速览
- 总参数 35B、激活 3B,规模是上一代 Clover 的约 5 倍
- 生成速度 680 tokens/s,官方称多项智能体基准超过同尺寸模型
- 空管报文 Demo 耗时 7.32 秒,对照模型 62.3 秒,相差约 8.5 倍
- SWE-bench Verified 73.6、Terminal-Bench 2.1 为 51.7、τ³ 为 65.3
- Apache-2.0 许可,权重与代码已上 Hugging Face、GitHub 和 ModelScope
扩散模型做语言,到底改了什么
主流大模型是自回归的:给定前文,预测下一个 token,再把它接回去继续预测。这种串行结构稳定、可扩展,但每一步都要等上一步完成,解码速度天然受限。
扩散语言模型走的是另一条路:先把一整块文本初始化成“噪声”,再通过多轮去噪并行更新块内多个 token,直到整块内容稳定。好处是块内 token 可以同时生成、互相交换信息;代价是训练和推理的工程复杂度都更高,尤其是在长上下文和复杂推理上,过去一直难以追上自回归模型。
Clover 的做法不是从零训练,而是站在一个自回归底座上改造。它基于 Qwen3.6-35B-A3B 构建,保留原有的混合 GDN/Attention 专家骨干,再引入块级扩散生成机制,并把门控 Delta 网络做双向化改造,让同一生成块里的 token 可以双向看见彼此。历史上下文则通过递归状态压缩,减少重复计算。
团队把这个设计讲得很直白:历史信息用压缩状态保留,当前生成块内部允许双向交互和并行更新。前者解决长文本的成本,后者解决并行生成时的语义一致性。
数字背后的真实场景
最有说服力的不是 tokens/s,而是端到端耗时。在无人机空域管理 Demo 里,模型要读 20 条空管报文,提取地点、半径等信息,再在三维地图上设置禁飞区。Clover 完成整件事用了 7.32 秒,对照的 Qwen3.5 用了 62.3 秒。
在包含 49 个任务的 WindTunnel 测试中,Clover 的中位执行时间是 1.52 秒;Jev 与 Mercury 2.5 组合为 3.21 秒,GPT-5.6 Luna 为 5.74 秒,Gemini 3.6 Flash 为 7.22 秒。按这组数字,Clover 的中位耗时约为前者的 47%。
需要提醒的是,不同模型的部署方式、工具调用流程和计费规则并不相同,单看中位执行时间,不能直接推导出生产环境里的综合成本。智能体任务的耗时往往卡在多轮规划、外部工具等待和结果校验上,模型生成再快,也可能被一个慢接口拖住。
能力边界:不是全面超越
团队公布的评测里,Clover 在 SWE-bench Verified 拿到 73.6,Terminal-Bench 2.1 为 51.7,τ³ Overall 为 65.3,三项都高于 Mercury 2.5 和同参数规模的 Qwen3.6-35B-A3B。这三项分别对应真实软件问题修复、终端环境任务执行和带工具交互的复杂任务,比知识问答更接近智能体日常要干的活。
但在通用能力上,结论要谨慎得多。团队自己的数据也显示,部分数学和代码评测中其他模型仍然领先。扩散模型的能力提升不是均匀发生的:它对生成顺序、上下文建模的要求与自回归模型不同,某些任务受益明显,某些任务反而吃亏。
一家创业公司的赌注
DiffuSpace 由香港大学 NLP 实验室联合主管孔令鹏及其博士生龚珊三、叶佳成创立,团队此前做过 DiffuSeq、Dream 7B 等扩散语言模型研究,近期连续完成两轮融资,总金额达数亿元人民币。
他们的下一步计划是推出决策模型和多模态模型。决策模型面向快速、结构化的判断任务,计划支持在一次生成过程中联合处理最多 8 个关联问题,让多个判断共享上下文,减少逐项独立决策带来的逻辑冲突。这个设想目前还停留在规划阶段。
趋势洞察
扩散语言模型已经不只是实验室课题。谷歌做过 Gemini Diffusion,Inception 在迭代 Mercury 系列,LLaDA 等开源研究也在探路。与此同时,自回归阵营通过推测解码、结构优化和推理引擎改进持续提速,两条路线并不是替代关系,更可能在不同任务上各占一块地盘。
对开发者而言,真正该问的问题不是“哪种架构更先进”,而是“在同样的硬件、相近的能力和可接受的质量下,谁的成本更低”。Clover 把 35B 参数、680 tokens/s 和 Apache-2.0 许可摆上桌面,至少让这个问题第一次有了可复现的对照物。
本文地址:https://www.163264.com/18380