跳到文章正文
大模型 编辑推荐

腾讯混元不追万亿参数:姚顺雨团队称 Hy4 还有很大改进空间,但会训练更大模型

面对“为什么还停在 7000 亿参数”的追问,混元团队的回答是:小模型做扎实也能赢,成本还更低;…

腾讯混元不追万亿参数:姚顺雨团队称 Hy4 还有很大改进空间,但会训练更大模型

11 月 21 日凌晨,腾讯首席 AI 科学家、混元大模型负责人姚顺雨带着团队在 Reddit 开了一场两个小时的 AMA,回答全球开发者的问题。最受关注的问题很直接:字节跳动、Kimi 都在朝 3 万亿甚至 5 万亿参数冲,你们还停在 7000 亿,为什么?

团队的回应是:Hy3 和 Hy4 已经证明,把一个小模型做扎实,同样能超过更大的模型,而且成本更低,研发过程中能学到的东西也更多。

不过他们也承认,Hy4 还有很大改进空间,重点是后训练。目前团队把大量精力投在大规模强化学习上,同时继续打磨用户体验和模型安全,并且明确表示“我们还计划训练更大规模的模型”。

有开发者问,会不会做 240 亿到 310 亿参数的稠密模型,团队回答“有可能,正在考虑”。至于对标 Qwen 27B 的稠密小模型、1000 亿参数以下专攻编程的模型,前者的回答是“有可能”,后者是“大概不会”。

姚顺雨本科毕业于清华姚班,在普林斯顿拿到计算机博士,2024 年加入 OpenAI,参与过 operator 和 deep research 两个智能体产品的开发。他提出的 ReAct 方法把“推理”和“行动”结合起来,被学界和工业界广泛采用。2025 年 12 月腾讯调整大模型研发架构,他出任首席 AI 科学家,同时负责 AI Infra 部和大语言模型部;今年 7 月,混元的多模态模型部门与大语言模型部门合并为基础模型部,也由他统一管理。

本文地址:https://www.163264.com/22346