跳到文章正文
开源项目 编辑推荐

腾讯混元开源 Hy4 flash:224B 总参数只激活 12B,支持百万 token 上下文

腾讯混元一次开源三个版本,Hy4 flash 总参数 224B、每 token 仅激活 12B,…

腾讯混元开源 Hy4 flash:224B 总参数只激活 12B,支持百万 token 上下文

腾讯混元开源 Hy4 flash:224B 总参数只激活 12B,支持百万 token 上下文

腾讯混元 11 月 18 日开源了 Hy4 flash,一次放出三个版本:Hy4 flash、Hy4 flash-FP8 和 Hy4 flash Base。开发者可以在 GitHub、Hugging Face、ModelScope、GitCode 下载部署,另外还有社区提供的 GGUF 版本。

参数结构是这款模型最值得看的地方。总参数量 224B,其中 64B 是 Engram 参数,每个 token 只激活 12B。也就是说,它靠一个很大的“记忆库”撑住能力,但真正参与计算的只是一小部分,推理成本因此压得很低。

能力上,Hy4 flash 支持多模态输入,上下文长度做到 100 万 token。官方给它的定位是“迄今性价比最高的 Hy 模型”,API 价格比 Hy4 大幅下调。

落地速度也不慢。发布时它已经接入腾讯云 TokenHub、WorkBuddy、元宝、企业微信、QQ、ima、Marvis 等产品,覆盖办公、社交、企业服务和云 API 几条线。对开发者来说,这意味着模型不是只放在仓库里,而是已经有现成的调用入口和真实流量在跑。

腾讯还预告,Hy4 正式版正在加速开源。按这个节奏,混元接下来的策略很清楚:用 flash 版本打性价比和部署门槛,用完整版 Hy4 打能力上限,把开源当作获取开发者和云客户的入口。

对想本地部署的团队,224B 总参数仍然不算小,但 12B 激活加上 FP8 版本,实际硬件门槛会比参数看起来友好不少。真正要验证的,是百万上下文在长文档、代码库这类场景里的稳定性和成本。

本文地址:https://www.163264.com/21788