决策模型也有专用推理引擎：StartLux 开源 Prism，单张 H200 最高提速 5.3 倍

过去两年，推理框架的优化对象几乎都是“生成”：怎么让模型一个字一个字吐得更快、更便宜。但有一类模型根本不靠吐字吃饭——它读完材料，只需要在 A、B、C 几个选项里挑一个。让这种模型去跑为大语言生成设计的通用引擎，等于让短跑运动员穿登山靴比赛。

StartLux 开源的 Prism，就是为这类决策模型重新设计的跑鞋。

一分钟速览

• StartLux 开源专用推理引擎 Prism，为自家决策模型 StartLux-Decision v1.1 27B 设计
• 单张 NVIDIA H200 上，对比原 vLLM 方案，推理速度提升 1.2 至 5.3 倍
• 同一份材料回答三个问题：处理时间从 92.9 毫秒降至 17.4 毫秒
• 约 256 Token 的短问题：从 53.1 毫秒降至 19 毫秒，约 2.8 倍
• 支持张量并行与数据并行组合部署，输出概率逐位一致（确定性推理）
• 7 个评测集、12,351 次决策测试中平均准确率 92.94%，BF16 原始精度为 92.97%，相差 0.03 个百分点
• 并发 64 场景下每秒处理请求数从 26.3 提升至 30.7，增幅约 17%

第一刀：不算整个词表

决策模型的输出层需求和聊天模型完全不同。以 27B 模型为例，词表约 24.8 万个 Token。常规流程要把整张词表过一遍 LM Head 算出 Logits，再挑出答案；可如果题目只有 A、B、C 三个候选，其中 24.7 万多个 Token 的计算纯属陪跑。

Prism 的做法是只对有效候选计算输出分数，并对最后一层做针对性优化，仅在需要输出结果的位置执行完整计算。数学上，这与“全词表打分后再对候选集合重新归一化”等价，省下的是实打实的算力。

第二刀：一棵树装下三个问题

真实业务里更常见的是“一份材料、多个判断”。比如一张客户工单，要同时判断归属团队、回复时限和严重程度。如果当成三个独立请求，材料要被重复读取、重复前向计算。

Prism 把这类任务组织成森林结构：公共指令当树根，共同材料当树干，不同问题作分支，配合 Tree Attention 复用公共上下文的计算结果。这就是 92.9 毫秒到 17.4 毫秒的来源——5.3 倍加速，本质是把重复劳动删掉。

官方也承认了边界：加速幅度取决于问题之间共享上下文的比例。材料一变、任务结构一变，收益会缩水。这个诚实的限定，比单纯喊倍数更有参考价值。

第三刀：让概率“逐位一致”

对决策模型来说，稳定性有时比速度更重要。动态批处理会改变浮点运算顺序，而浮点加法不满足严格结合律，同一输入可能算出微小差异。如果判断正好卡在阈值附近，这点差异就足以让结论翻转。

Prism 把相关 Projection 计算放到 INT8 Tensor Core 上、用 INT32 累加，减少顺序变化带来的漂移。官方称在其支持的配置下，无论并发多少、批处理怎么排、单卡还是多卡，输出概率都逐位一致。对金融风控、自动审核这类需要复现和审计的场景，这几乎是刚需。

代价是量化。INT8 会不会让模型变笨？12,351 次决策的测试给出的答案是 0.03 个百分点，基本可以忽略，但这一结论仍取决于具体评测集与配置。

第四刀：会思考的和不会思考的共用一张卡

StartLux-Decision v1.1 有 AutoThink 模式：能直接答的直接答，不确定的生成最长 4096 Token 的思考过程。两类请求的时长差异巨大，简单串行调度会让短请求排在长思考后面干等。

Prism 让两者共享同一个调度器和显存：思考任务的提示词与下一批直接输出请求一起做 Prefill，思考的 Decode 步骤走 CUDA Graph，最多 64 条并行；新到的短请求通常只需等一到两个 Decode Step。配合基于计数器的随机数生成器，思考内容与最终概率在并发 16、64 下都能与单请求逐位一致。

放在行业里看

10 月 20 日，DeepSeek 刚开源了面向自家模型的推理框架 DeepInfer；几天后 StartLux 拿出 Prism。两条技术路线不同，动作却一致：优化重心从“模型本身”延伸到“模型怎么跑”。

这背后是一个现实：当模型能力差距缩窄，单位任务的推理成本就成了产品能不能成立的关键。尤其在决策类场景——工单分类、风险评估、文档审核——单次调用只值几毫秒，框架层的浪费会被规模放大成真金白银。

趋势判断

专用推理引擎会越来越多。通用框架服务的是“通用生成”，而垂直模型有自己的计算形状：有的只要几个选项的概率，有的要固定长度的结构化输出，有的要求结果可复现。谁先把这些形状吃透，谁就能在同样的卡上多跑几倍业务。

对工程团队的建议是：别急着换模型，先量一量你的推理链路里有多少计算是白做的。Prism 的 5.3 倍不是魔法，它只是把“不需要的部分”删掉了——而这件事，大多数团队自己也做得到。