Cloudflare 给 AI 代理配了搜索接口：不用再猜 URL，还能统一记账

如果你搭过联网的 AI 代理，大概率见过这种失败：模型一本正经地猜了一个 URL，调用工具去抓，结果返回 404。它不是不会搜索，而是把“搜索”当成了“猜地址”。Cloudflare 最近通过 AI Gateway 推出的 Web Search API 测试版，想解决的正是这类问题。

一分钟速览

• 测试版 Web Search API 可通过 REST API 和 Cloudflare Workers 访问；
• 统一接入 Ceramic.ai、Exa、Linkup 等实时搜索服务，支持自带供应商密钥；
• 提供统一日志、访问控制和计费，搜索请求与模型推理可一起归因到 AI Gateway；
• 要求搜索供应商的爬虫符合“已验证机器人”规范，并在响应中返回来源链接；
• Cloudflare 称将筛选支持“零数据保留”的供应商，按供应商标价收费，不额外加价。

代理抓网页，为什么会一直 404

Cloudflare 的产品经理 Michelle Chen、高级总监 Sam Else 和高级系统工程师 Gabriel Massadas 把问题讲得很直白：当代理需要实时抓取网页时，它通常只是猜测页面的 URL，然后调用工具用 curl 去抓。猜错了，就会看到 404。偶尔猜对一次，也不代表这个流程可靠——URL 会变、站点结构会变、重定向会变，靠猜的抓取本质上是在碰运气。

更合理的做法是给代理一个真正的搜索接口：输入查询，拿回带标题、摘要和来源链接的结果，再由代理决定读哪一篇。这样既减少了无效请求，也让“信息从哪来”变得可追溯。对需要引用来源的 AI 应用来说，后者尤其重要。

统一入口，才是企业真正需要的

市面上不缺搜索 API，缺的是“统一”。一个团队如果同时用 Exa 做语义检索、用 Linkup 做实时新闻、用 Ceramic.ai 做特定垂直领域，就要分别处理三套密钥、三套计费、三套日志和三套限流。Cloudflare 的做法是把这些供应商收进同一个接口，用 AI Gateway 的身份令牌鉴权，在请求里指定用哪家，计费则合并到同一张账单。

对已经在用 Cloudflare 的企业来说，这个价值不只是方便。Erato Labs 首席技术官 Maximilian Goisser 指出，Cloudflare 正在成为许多企业信赖的主要云服务供应商，大部分云费用都通过这个平台结算，因此无需重新走一遍采购流程。换句话说，搜索 API 的竞争不只是技术竞争，也是采购路径的竞争。

来源链接与“已验证机器人”

Cloudflare 给这套 API 加了两条规则：搜索供应商使用的爬虫必须符合其开发者文档中定义的“已验证机器人”公开要求；搜索响应必须包含指向被抓取内容的链接。前者保护站点不被匿名爬虫白嫖，后者让内容创作者能知道自己的内容被谁引用、用在哪里。

这两条规则背后是 Cloudflare 一贯的立场：AI 抓取应该可识别、可审计、可拒绝。对内容方来说，这比单纯封锁爬虫更务实——你不能阻止所有抓取，但可以让合规的抓取留下痕迹；对 AI 应用来说，带来源链接的结果也更适合做 RAG 和引用。

Hacker News 上的三个疑问

在 Hacker News 的讨论里，社区关注的不是“能不能用”，而是三个更实际的问题。第一是搜索质量：统一接口会不会为了兼容多家供应商而牺牲排序和召回？第二是数据保留：供应商是否允许存储并重新发布搜索结果？Simon Willison 就提到，如果一个代理系统不被允许存储响应结果，或者不能提供“分享对话记录”按钮，那会是很大的限制，而答案往往埋在服务条款里。第三是统一 API 相比现有方案是否真有实质优势，还是只是多了一层抽象。

Cloudflare 的回应是：会筛选支持零数据保留的供应商，按标价收费不额外加价，并计划为 AI Gateway 增加原生服务器工具，先从 Web 搜索开始。在此之前，开发者可以用 Workers 把搜索集成进自己的工作流。这些承诺能否落地，要看测试版之后的供应商名单和实际计费细则。

趋势：Agent 的基础设施正在分层

过去我们说“给模型接工具”，现在这件事正在被拆成更细的层：模型推理是一层，工具调用是一层，搜索与检索是一层，权限、日志和计费又是另一层。Cloudflare 想做的，是把后面几层收进自己的网络里。对开发者来说，这意味着更少的胶水代码；对 Cloudflare 来说，这意味着 AI 时代的流量入口。

值得观察的是，当搜索、抓取、推理都在同一张账单上，AI 应用的成本结构会变得前所未有地清晰。哪个环节最烧钱、哪类查询最没价值、哪家供应商最稳定，都会直接体现在数字上。对正在把 Agent 推向生产环境的团队来说，这种可见性本身，可能比多一个搜索源更有价值。