prism

决策模型也有专用推理引擎：StartLux 开源 Prism，单张 H200 最高提速 5.3 倍

过去两年，推理框架的优化对象几乎都是“生成”：怎么让模型一个字一个字吐得更快、更便宜。但有一类模型根本不靠吐字吃饭——它读完材料，只需要在 A、B、C 几个选项里挑一个。让这种模型去跑为大语言生成设计的通用引擎，等于让短…