跳到文章正文
开源项目 编辑推荐

范式智能联合睿思智联开源“模域 ModelSphere”:把算力调度、模型部署与调优收进一个平台

大模型进入规模化商用后,企业最头疼的往往不是没有模型,而是算力用不起来、模型部署不下去。 一分钟…

大模型进入规模化商用后,企业最头疼的往往不是没有模型,而是算力用不起来、模型部署不下去。

一分钟速览

  • 10 月 16 日,“模域 ModelSphere”一站式生产级 AI 部署平台上线并向企业免费开源。
  • 宣称系统极限吞吐较基准提升约 285%,性能跃升至原来的 4 倍。
  • 统一调度华为昇腾、天数智芯、摩尔线程、海光 DCU 等国产算力。
  • 已适配 DeepSeek-V4/V4-Flash、Qwen、Kimi、MiniMax、GLM 等主流模型,采用 Apache 2.0 协议。

它想解决什么问题

随着大模型进入规模化商业阶段,企业在算力统筹、模型部署与效能优化上的痛点越来越集中:资源利用率低、芯片生态割裂、部署门槛高、生产环境调优难。模域的思路,是把这些工作整合成一套统一的部署与管理流程,让企业不必深度掌握驱动编译、硬件适配等底层工作,就能把各类开源大模型嵌进核心业务流程,把精力留给应用开发。

四大核心能力

第一,简化部署。平台提供图形化操作面板与预置部署能力,减少环境配置代码的编写,帮助开发者快速搭起推理服务;内置自动弹性扩缩容、PD 分离部署、三级 KV 缓存、高可用负载均衡,以及服务断流自动续写等企业级能力,目标是让模型服务在生产环境中稳定运行。

第二,持续自动化调优。平台内置 AutoTune 智能模型排期策略,并结合硬件加速能力做自适应负载均衡调度,优化请求处理能力与首次响应速度。按官方披露的数据,系统极限吞吐效率较基准大幅提升约 285%,性能跃升至原来的 4 倍。

第三,统一管理多种芯片。融合 EngineX 推理引擎,可统一并混合调度华为昇腾、天数智芯、摩尔线程、海光 DCU 等国产算力资源,用户无需为不同芯片重写底层逻辑代码,缓解“芯片越多、适配越难”的困境。

第四,持续跟进主流模型。团队已适配优化 DeepSeek-V4/V4-Flash、Qwen、Kimi、MiniMax、GLM 等模型,支持在模型发布后快速部署并调到生产可用状态。

它在技术栈里的位置

需要说明的是,模域并不替代 vLLM、SGLang 这类推理引擎,而是与之配合:推理引擎负责提升单台服务器的计算效率,模域负责集群架构级的纳管与优化,包括负载与缓存感知的请求路由、统一的 KV 缓存池、基于服务质量的自动化扩缩容、服务断流自动续写、基于线上数据的自动化性能调优,以及运行监控与服务管理,保证生产环境下的高性能与高可用。

为什么值得关注

对正被异构算力困住的企业来说,这类“集群级编排层”的价值,往往比再换一个模型更大。它把部署与优化的工程能力开放出来,减少硬件适配障碍,目标很直接:让企业用好已有算力,释放异构算力的商业潜能。模域采用宽松的 Apache 2.0 协议并已在 GitHub 开源,团队也表示会持续完善对不同芯片与模型的支持。

本文地址:https://www.163264.com/17119