kimi底层推理

关于 Kimi 底层推理方案的选择与设计:月之暗面kimi底层推理系统方案揭秘

系统背景与动机： 随着大型语言模型（LLMs）的广泛应用，对服务工作负载的需求变得多样化，需要满足不同级别的服务级别目标（SLOs）。 Kimi作为一个模型即服务（MaaS）提供商，旨在最大化整体有效吞吐量，同时满足SL…