Cloudflare 开源 Clef:让智能体「做选择题」,38 毫秒给出带概率的答案
很多 AI 智能体卡住的地方,不是不会写,而是不会选。该把工单分给哪个团队?该升级还是转人工?该…
文章目录
很多 AI 智能体卡住的地方,不是不会写,而是不会选。该把工单分给哪个团队?该升级还是转人工?该不该执行这一步操作?这些问题的答案不是一段文字,而是几个选项中的一个。
一分钟速览
- Cloudflare 开源 Clef 系列决策模型,包含 90 亿参数和 270 亿参数两个版本。
- 模型输入状态和带类型的问题 Schema,输出每个选项的概率,不需要生成自由文本再解析。
- 支持文本、JSON、图像、视频等多模态输入,270 亿版本上下文窗口为 64k。
- 90 亿参数的 Clef-Flash 中位延迟为 38.8 毫秒,270 亿版本为 209.3 毫秒。
- 模型托管在 Cloudflare 边缘 GPU 上,可与 Workers AI 上的大模型组合,形成「先决策、再执行」的链路。
决策即分类
传统做法是让大模型输出一段 JSON,再写代码解析。问题在于,模型可能漏字段、改字段名、在 JSON 前后加解释,甚至一本正经地编一个不存在的选项。每一次解析失败,都是一次重试、一次延迟、一次成本。
Clef 换了一个思路:不生成文本,直接做分类。模型接收当前状态和一个带类型的问题 Schema,一次前向推理就返回每个问题下所有可选项的概率。调用方拿到的是结构化的概率分布,可以直接设阈值、做排序、走人工兜底,不需要再解析自然语言。
这个设计的好处是「可编排」。智能体的决策链路里,最怕的是不确定的输出;有了概率,系统就可以定义「高于 0.9 自动执行,0.6 到 0.9 转人工,低于 0.6 拒绝」。这比让大模型「看着办」要可控得多。
38 毫秒的意义
Clef-Flash 的中位延迟是 38.8 毫秒,270 亿版本是 209.3 毫秒。对聊天机器人来说,几百毫秒的差异用户几乎感知不到;但对智能体来说,延迟会被放大。一个任务可能包含十几次决策,每次多 200 毫秒,整体就多出两三秒。如果决策发生在客服、风控、工业控制这类实时场景,延迟就是体验,甚至是安全问题。
Cloudflare 的优势在于边缘网络。模型托管在离用户更近的 GPU 上,网络往返时间被压短,决策可以放在智能体链路的核心路径里,而不是作为一个「事后异步检查」。这也是它和纯模型 API 厂商的差异:后者卖的是模型能力,Cloudflare 卖的是「模型加位置」。
开源权重,但不等于开箱即用
Clef 开源的是权重,不是一个完整的应用。要用好它,企业还需要准备带类型的问题 Schema、标注数据、阈值策略和人工兜底流程。换句话说,它降低的是「训练一个专用分类模型」的门槛,不是「做一个智能体」的门槛。
这也解释了为什么 Cloudflare 同时提供适配平台:不同企业的决策任务千差万别,客服工单分类和内容审核分类,选项体系完全不同。通用模型只能提供基础能力,最后一公里仍然需要按任务微调。
从生态角度看,Cloudflare 在做一件很聪明的事:它不跟前沿实验室比通用模型能力,而是切入「决策」这个细分但高频的场景。智能体越多,决策调用就越多;决策调用越多,边缘 GPU 的价值就越大。
趋势洞察
智能体的架构正在分层:上层是负责理解和生成的通用大模型,下层是负责判断和选择的专用小模型。前者贵、慢、不确定,后者便宜、快、可校准。把合适的任务交给合适的层,是智能体从 Demo 走向生产的关键。
未来一年,我们可能会看到更多「决策模型」出现:专门做路由的、专门做风控的、专门做内容分级。它们不一定有漂亮的对话能力,但会有明确的延迟指标、概率校准和成本优势。对开发者来说,这意味着智能体的设计范式会变:不再是一个大模型包打天下,而是一条由多个专用模型组成的流水线。
Clef 能不能成为这条流水线上的标准件,还要看社区是否愿意围绕它构建工具和数据。但至少,它指出了一个方向:让 AI 做它擅长的事——在明确的选项之间,给出一个可解释的概率。
本文地址:https://www.163264.com/17642