跳到文章正文
模型框架 编辑推荐

FlagOS 2.2 把算子堆到 1454 个:新模型一天适配 12 款芯片,旧卡接着干

一个现实矛盾摆在所有算力运营方面前:模型三个月换一代,机房里那批卡要用五年。软件层能不能把旧硬件…

一个现实矛盾摆在所有算力运营方面前:模型三个月换一代,机房里那批卡要用五年。软件层能不能把旧硬件重新盘活,成了比买新卡更实际的问题。

2026 年 10 月 17 日,以“一栈贯通,智算无界”为主题的人工智能开放计算大会暨众智 FlagOS 技术大会举行。会上展示的是 9 月 30 日发布的 FlagOS 2.2:从底层算子、编译器到模型部署与服务的一整套进展。

一分钟速览

  • 九大算子库合计覆盖 1454 个算子,比上一版增加 890 个。
  • 在上千个算子、10 款异构 AI 芯片的测试范围内,跨芯算子性能提升约 27%。
  • 新模型可在一天内适配多达 12 款芯片,适配产物发布到 Hugging Face、魔搭等平台。
  • GLM-5.3-Flash 在存量昇腾 910B 上逻辑服务吞吐达优化前 2.04 倍,租金折算成本比商业 API 计费低 19.4%—27.6%。
  • Qwen3.5-397B-A17B 采用 W8A8 后模型文件从 751.41GB 缩到 382.45GB,减少 49.1%。

从支持哪些芯片,到能不能持续优化

FlagOS 2.2 的核心变化是从多芯适配走向跨芯复用。公开算子由 564 个增至 1454 个,首次发布 FlagGems-SGLang,含 40 个多芯片高性能算子,覆盖 Attention、Mamba 状态更新、MoE、LoRA、采样与量化;FlagGems-vLLM 则扩展了 MLA、KDA/GLA/GDN2、TopK 与低精度计算。在本轮英伟达测试中,这 40 个算子全部通过。

光有算子不够,正确性、性能和可维护性要一起达标。KernelGen 多芯片自动算子生成工具已支持九款 AI 芯片,把代码生成、硬件验证和自动调优串成规模化生产流程,本季度新增生成 765 个算子,其中 416 个在至少 5 款国产芯片上通过精度验证,并达到对应原生算子 80% 以上的性能。

调试环节也补上了。FlagPrism 把 Triton 源码、编译器中间表示与设备执行信息关联起来,Debugger 能追查数值问题到具体语句,Profiler 能拆解耗时并定位优化环节,目前已支持华为昇腾、天数智芯、摩尔线程、英伟达和燧原。这意味着跨芯复用的不只是某段优化代码,还包括一套发现问题、验证假设、持续迭代的方法。

让新模型第一天就落在多种芯片上

统一跨芯插件系统像一组插座,让开发者沿用熟悉的开发方式,把多种芯片能力接入 vLLM、Megatron-LM、TransformerEngine、SGLang、Torch、VeRL 等框架。以 TransformerEngine-FL 为例,模型通过统一算子接口发起计算,OpManager 按策略选择 FlagOS、厂商或 PyTorch 实现,并提供缓存与失败回退,减少对核心训练代码的改动。

首次发布的 FlagOS-Compressor 解决另一类问题:目标设备的低精度支持或显存容量与新模型不匹配时,权重转换与量化是另一条部署路径。它按模块选择量化策略,为敏感模块保留高精度。Qwen3.5-397B-A17B 采用 W8A8 后,模型文件由 751.41GB 降到 382.45GB,减少 49.1%,GPQA-Diamond 取得 84.85% 的绝对准确率,并完成英伟达 H20 与国产 PPU 的推理链路验证。

组合起来的效果是响应速度:过去半年多次实践中,新模型发布后一天内可适配多达 12 款芯片,适配后还会重新评测任务表现,并把模型与配置发布出去。

真实服务里的数字

GLM-5.3-Flash 的案例最能说明存量设备的价值。基于 FlagOS 技术栈优化,它在 Agentic 回放场景的逻辑服务吞吐约为优化前的 2.04 倍,从 8.52k 提升到 17.36k tokens/s。在 512K 长上下文测试中,生成速度 60.9 tokens/s,接近官方 API 外部测量参考值 61.1 tokens/s,比值约 99.7%。

成本测算更直白:按每台 8 卡 910B 月租 16500 元、3P1D 部署、93% 缓存命中率、解码侧满载计算,256K 输入、8 并发场景每百万输出 Token 的租金折算成本为 59.27 元,比对应商业 API 计费参考的 73.55 元低 19.4%;512K 输入、4 并发场景为 104.53 元,比 144.31 元低 27.6%。

其他案例也在同一方向上:中国电信星辰 Xing4.0-29B-A4B 完成十款芯片平台的适配、精度对齐与部署验证,其中八款标准适配,苹果 M5 Pro 与此芯 P1 采用 W4A8 端侧量化,高并发长输入测试下首 Token 时延降低 19.87%、解码速度提升 26.32%;DeepSeek V4.1 Flash 在平头哥 810E 上,48 路并发下每请求解码速度提升 91.5%;软通动力在四台昇腾 910C 上优化 GLM-5.2,五项改动全部启用后 p50 交互时延降低 14.53%,p99 从 83.82 毫秒降到 66.35 毫秒。

趋势判断

异构算力真正的门槛从来不是能不能跑,而是跑得好不好、换模型时要不要重来一遍。FlagOS 2.2 给出的答案,是把算子、编译、量化、调试、评测打包成可复用的流程,让软件优化成为模型换代时的缓冲带。

对算力运营方来说,这意味着多了一条决策路径:先用软件把现有设备的服务能力延长,再判断是否必须买新卡。当然,报告里的数字都带条件——租金、并发、缓存命中率、输出长度,真实业务负载下的表现仍要自己测。但至少,旧卡还能不能再干两年这个问题,第一次有了可以摆到桌面上的量化依据。

本文地址:https://www.163264.com/17944