腾讯混元团队凌晨开麦:Hy4 还有大改进空间,下一步要训“更大规模”的模型
一场两小时的 Reddit AMA,腾讯混元团队把参数路线、后训练投入和下一代模型计划讲了个明白…
文章目录
11 月 21 日凌晨,一场持续 120 分钟的 Reddit AMA 把腾讯混元团队推到了台前。腾讯首席 AI 科学家、混元大模型负责人姚顺雨带着团队成员,回答了全球开发者关于 Hy4 的近三十个问题。问题很直接:别人都在冲 3 万亿甚至 5 万亿参数,你们为什么停在 7000 亿?Hy4 之后还有什么?

一分钟速览
- 团队称 Hy3、Hy4 已经证明“做得扎实的小模型也能超过更大的模型”,而且成本更低
- 承认 Hy4 仍有很大改进空间,重点在后训练与大规模强化学习
- 明确表示“计划训练更大规模的模型”,240 亿到 310 亿参数的稠密模型“有可能,正在考虑”
- 对 100B 以下、专攻编程的小模型,回答是“大概不会”
- 用户体验与模型安全被反复提及,和性能并列为投入重点
为什么敢在 7000 亿参数上停下来
这场问答里最有信息量的一句,是对“参数量到底意味着什么”的回应。混元团队没有否认大参数的价值,但把话说得很清楚:参数量不是唯一变量,训练数据的质量、后训练的方法、以及工程上能不能把模型“做扎实”,同样决定最终能力。Hy3 和 Hy4 是他们拿出来的证据——在部分任务上,规模更小的模型跑赢了更大的对手,同时推理成本明显更低。
这套逻辑在商业上很好理解。模型越大,训练一次的钱越多,推理时每个 token 的账单也越贵。对一家要把模型塞进微信、游戏、办公和云服务里的公司来说,单位成本比榜单排名更实在。团队的说法是,小模型路线让他们“在这个过程中学到更多”,也就是用更少的算力换取更多的工程经验。
后训练成了下一段坡
承认“Hy4 还有很大改进空间”,是这场 AMA 里少见的坦白。团队把改进方向指向后训练:大规模强化学习、用户体验打磨、安全对齐。这三件事的共同点是,都不需要把基础模型推倒重来,却能在具体任务上拿到可观的提升。
这也解释了他们对参数规模的谨慎。基础模型决定能力上限,后训练决定这个上限能被兑现多少。业界过去一年的经验是,同一套基座配上不同的强化学习配方,在数学、代码、智能体任务上的差距可以拉开十几甚至几十个百分点。对一个已经开源的模型系列来说,后训练的迭代速度还直接决定了社区愿不愿意继续用。
“更大规模”与“更小专精”同时存在
问答中最受关注的两个问题,答案方向相反。一边是“计划训练更大规模的模型”,另一边是“100B 以下专攻编程的模型大概不会做”。这并不矛盾:更大的模型用来探能力的上限,中等规模的稠密模型用来填产品线的空档,而专门的编程小模型,市场上已经有足够多开源选择,再做一个的边际收益不高。
至于 240 亿到 310 亿参数的稠密模型,团队的回答是“有可能,正在考虑”。这个区间恰好是本地部署和端侧推理的甜点区:单卡能跑,效果又足够撑起一个垂直应用。对开发者来说,这比又一个万亿参数巨兽更有实际意义。
这轮问答透露的信号
把这场 AMA 放回时间线看,它更像一次节奏校准。开源、降价、拼榜单的阶段过后,头部团队开始重新讨论“什么样的模型值得训”。参数规模是显性指标,后训练和工程效率是隐性指标,而后者正在变成拉开差距的地方。
对普通开发者而言,最值得记住的是两句话:小模型做扎实可以超过大模型;下一代的重点在强化学习和用户体验。前者决定了你选模型时的判断标准,后者决定了未来半年模型能力的增量会出现在哪里。
本文地址:https://www.163264.com/22291


