腾讯 Hy4 全量开源:770B MoE、100 万 Token,Apache 2.0 可商用
腾讯混元把 Hy4 权重同步上架 GitHub、Hugging Face、ModelScope …
文章目录
11 月 20 日,腾讯混元把 Hy4 的模型权重放上了 GitHub、Hugging Face、ModelScope 和 GitCode。对开发者来说,这意味着那个总参数 770B、上下文 100 万 Token 的旗舰模型,不再只能隔着 API 调用,而是可以下载、部署、修改,甚至拿去做二次训练。

一分钟速览
- Hy4 正式开源,权重在 GitHub、Hugging Face、ModelScope、GitCode 四个平台同步上线。
- Hy4 采用 MoE 架构,总参数 770B,激活参数 49B,上下文窗口最高 100 万 Token。
- Hy4 flash 总参数约 2200 亿,含约 635 亿 Engram 参数,每 Token 仅激活约 120 亿,支持文本与图像输入。
- Hy4 及 Hy4 preview 采用 Apache 2.0 许可证,允许商业使用与修改。
- 混元 LLM 系列已完成全量开源,覆盖 Hy3 preview、Hy3、Hy4 preview、Hy4 与 Hy4 flash。
770B 的 MoE,开放的是什么
Hy4 最早在 11 月 4 日发布,这次开放的是此前预告的模型权重。MoE 架构的关键不在总参数,而在激活参数:770B 的总量意味着知识容量,49B 的激活量决定了单次推理的成本。腾讯把这两个数字同时摆出来,其实是在回答企业最关心的问题——能力上限够高,但日常调用不至于烧穿预算。
100 万 Token 的上下文,是另一个容易被忽略的卖点。长上下文不是「能塞进去」就结束了,还要在长文档里保持检索和推理的稳定性。Hy4 把窗口做到百万级,配合 MoE 的稀疏激活,目标显然是代码仓库、合同、财报、长视频转写这类「一次吃进大量材料」的场景。
Hy4 flash 则是另一条路线。它总参数约 2200 亿,其中包含约 635 亿 Engram 参数,每个 Token 只激活约 120 亿,同样支持最高 100 万 Token 上下文,并支持文本与图像输入。旗舰版负责能力上限,flash 版负责规模化落地,两者形成梯次。此前 Hy4 flash 已经在 OpenRouter 等平台跑出过单任务 0.26 元级成本,这次全量开源后,企业可以把它放进自己的推理集群,按自己的业务调优。
Apache 2.0 的分量
开源模型很多,但许可证决定了它能不能进企业。Hy4 与 Hy4 preview 采用 Apache 2.0,允许商业使用与修改,这对想做私有化部署、行业微调、边缘推理的团队是关键一步。相比之下,一些「只开放权重、限制商用」的许可证,会让法务在采购环节直接把方案否掉。
腾讯同时发布了 Hy4 的模型安全评估卡片(System Card),披露网络安全与生物安全等维度的评估结果。官方说明提到,训练数据只纳入 PoC 生成、漏洞修复等防守性网络安全内容,剔除了漏洞利用、逆向工程与渗透等攻击性数据;腾讯玄武与科恩实验室的审计未发现明显的进攻性能力风险。对开源模型来说,这种披露正在从加分项变成必答题。
开源之后,竞争落在哪里
权重开放不等于竞争力开放。真正的差距会出现在三个地方:一是推理工程的效率,同样 49B 激活,谁能把吞吐做得更高、显存占用更低;二是后训练数据,通用能力之外,行业 know-how 仍然要靠企业自己灌;三是安全与合规,尤其是面向政企客户时,模型卡、审计报告、可追溯性缺一不可。
对开发者来说,最实际的变化是选择变多了。过去想用国产旗舰级 MoE,大多只能走 API;现在可以下载权重,在本地或专有云里做量化、蒸馏、LoRA,甚至改注意力实现。对云厂商来说,这会带来一波「模型托管 + 推理优化」的需求,而不是简单的价格战。
产品链接
结语
「全量开源」这四个字,比任何 benchmark 都更能说明腾讯的策略:不指望靠模型本身收过路费,而是把模型变成云、算力和行业方案的入口。接下来值得观察的,不是下载量,而是有多少团队真的把 Hy4 跑进了生产环境。
本文地址:https://www.163264.com/22123


