MiniMax 开源 4280 亿参数新模型:上线三天跑了 100 万亿 Token
MiniMax 稀宇科技今天宣布开源 MiniMax M3.1 Flash 的模型权重。总参数 …
文章目录
MiniMax 稀宇科技今天宣布开源 MiniMax M3.1 Flash 的模型权重。总参数 428B,激活参数 23B。数字摆在这里,但更值得看的是它怎么把大模型跑得又快又省。
一分钟速览
- 总参数 428B、激活参数 23B,属于稀疏混合专家架构。
- 通过稀疏注意力、量化感知训练和功耗调度三项优化提升推理效率。
- 10 月 19 日上线,72 小时内真实用户处理超过 100 万亿 Token。
- 开源首日即与华为昇腾、摩尔线程、英伟达、AMD 等芯片厂商完成接入。
先看参数,再看效率
428B 总参数听起来吓人,但每次推理只激活 23B。这就是混合专家架构的好处:模型很大,干活时只叫醒需要的那部分专家,算力花在有用的地方。相比上一代 M3,M3.1 Flash 的能力有全面提升,而 Flash 这个名字本身就说明了定位,快。
三个优化,都是抠效率
第一项是全模型稀疏注意力。前三个全注意力层被替换成稀疏注意力,计算时不必让每个词都和其他所有词发生关系,长文本场景下省下的算力相当可观。
第二项是量化感知训练。路由部分的专家迁移到 W4A4 精度(共享专家除外),稀疏注意力的索引器和主分支从 Q8KV8 迁到 Q8KV4。翻成大白话:用更低的数值精度存权重和缓存,显存占用更小,速度更快,同时靠训练阶段就考虑量化来保住效果。
第三项是功耗感知调度。通过对计算卡功耗做精细分配,让卡持续维持在算力高位,把硬件效率榨到极限。这一项听起来偏工程,但对大规模服务来说,直接决定单位 Token 的成本。
三天 100 万亿 Token 是什么概念
M3.1 Flash 在 10 月 19 日上线,72 小时内真实用户处理超过 100 万亿 Token。这个量级说明它不是实验室里的样品,而是上线即被真实流量压过的模型。对开源模型来说,能被大规模调用验证,比跑分更有说服力。
开源首日就有人接
MiniMax 这次拉了一支很长的队伍:华为昇腾、平头哥、昆仑芯、摩尔线程、壁仞、海光、沐曦、天数、英伟达、AMD 等芯片厂商,以及 Together AI、Fireworks、Nebius、Baseten、Modal、DigitalOcean 等推理和云平台,共同推进开源首日接入。vLLM、SGLang、智源 FlagOS 和 Hugging Face、魔搭等框架与社区也同步跟进。
权重放出来只是第一步。真想让人用起来,还得有下载渠道、推理框架支持和足够便宜的算力,这三样缺一样,开源就只剩一条新闻。对中小团队来说,能在一两张消费级显卡上跑起来的模型,往往比榜单第一更有吸引力。
国产模型开源,难点从来不只是权重放出来,而是有没有人愿意为各种芯片做适配。这次首日就能在这么多平台上跑起来,说明生态协同提前做了功课。对开发者来说,选择变多了;对行业来说,开源模型的竞争已经从参数比拼,转向谁能把推理成本压得更低。
本文地址:https://www.163264.com/17834