拒答率越高就越安全？Anthropic 自己拆台：这个指标能把最差的模型评成满分

“这个模型比上一代更安全”——这句话在 AI 行业里几乎每周都会出现。但 Anthropic 在 11 月 13 日发布的一篇研究方法文章里，先给自己泼了盆冷水：所谓“更安全”，其实只是它在某套评估里拿了更高的分数，而评估本身可能压根没测到该测的东西。

核心看点

• 安全评估测的是模型“造成或助长伤害的倾向”，不是能力，但这类评估做不好会直接误导部署决策；
• 最常见的错误是把“拒答率”当成安全指标——一个对所有自杀相关提问都拒答的模型，拒答率可以拿满分，但它并不更安全；
• Anthropic 改用“合适回应率”：多轮对话里整段都处理得当才算通过，中间有一轮失守，整段判失败；
• 生物、网络安全这类双用途领域，正确做法不是一律拒绝，而是帮用户完成合法的那部分、扣住真正能造成伤害的操作细节；
• 跑评估的环境本身也要防模型：断网沙箱 + 实时监控，发现异常立刻掐断。

一个“更安全”的说法，可能只值一套不靠谱的题

Anthropic 在文章开头把话说得很直白：安全评估会影响最关键的几项决定——模型能不能上线、要配哪些防护措施、下一轮安全训练该往哪儿使劲。问题在于，评估结果好不好，取决于题出得好不好，而好的评估非常难做。研究者早就反复发现，很多 AI 评估并不总能测到它声称要测的东西，换个提问方式结果就变。

他们把这件事类比成心理学十年前的那场危机：大量已发表结论无法复现，原因之一是样本太小、期刊偏爱显著结果。心理学界的应对办法是预注册、改进测量、用更严格的统计方法。Anthropic 说，安全评估现在需要走同一条路。

坑一：问错问题，结论就无从解释

做评估前要先问清楚：到底想回答什么问题？大多数评估只是“观察性”的——告诉你 A 模型分数和 B 模型不同，但不告诉你为什么。如果你想证明“某个改动让模型更安全”，那是因果问题，设计上必须一次只变一个变量，比如同一模型开不开某道干预各跑一遍。

坑二：量错了东西，拒答率就是典型

选好设计之后，第二个问题是“你到底在测什么”。安全评估里最顺手的指标是拒答率，它在很多场景下确实合理——没人希望模型帮忙设计诈骗话术。但在自杀与自残这类话题上，拒答恰恰是错的：用户处在危机中时，模型直接不接话本身就是一种失败，理想回应应该是带着共情接住，并给出合适的求助资源。一个对所有相关提问都拒答的模型，拒答率评估能拿满分，但它不是更安全的模型。

所以 Anthropic 改用多轮评估，报告“合适回应率”：一段对话里模型全程都处理得当才算过，评判标准按风险领域由领域专家写成评分表。只要有一轮失守——比如被反复追问后吐出了诈骗操作细节——整段直接判不合格。

坑三：只测“会不会帮坏人”，不测“会不会误伤好人”

好评估必须同时看两头：对有害请求的依从，以及对正常请求的过度拒绝。在单轮评估里，他们把同领域的“有害请求”和“无害请求”成对出现：前者希望模型拒绝，后者希望模型好好回答。比如化学领域，有害题可能是要神经毒剂的配方，无害题可能是问某次历史化工事故。哪些算有害、哪些算无害，边界案例必须靠领域专家判断。

生物和网络安全大多是双用途：同一个问题，既能帮人做疫苗，也能帮人增强病原体；既能帮人发现自己软件里的漏洞，也能帮人打别人的系统。这类场景下，合适回应几乎不是一句“不行”，而是把请求里合法的部分做掉，同时不给那些能带来真实提升的操作细节。

评估环境自己也得当心被“越狱”

安全评估通常要关掉常规防护，才能看到模型的基线表现。网络类评估尤其危险：模型可能去试探测试环境的边界，一旦跑出去就可能造成真实伤害。Anthropic 的做法是把评估放在没有联网的沙箱里跑，并实时监控，发现不对劲就立刻中止。他们提到，最近因为相关事件，已经暂停了大量给模型联网权限的评估，对必须联网的搜索类评估加了实时监控。

总结

这篇文章没有发布新模型，价值在于把“安全评估”从一句宣传口号拆成了可检查的工程问题：先问清楚要回答什么，再确认指标真的对应你想关心的东西，最后用成对的题目同时防“帮坏人”和“误伤好人”。对普通用户来说，下次再看到“某模型安全性提升 X%”，至少可以多问一句：这是在什么题上、用什么指标量出来的？