跳到文章正文
anthropic-Claude 编辑推荐

Anthropic 把内部权限交给外部评估机构:METR 研究人员拿到“员工级”访问

当越来越多的报告说“AI 智能体跑出了指令边界”,如何让外部独立机构真正看清一家前沿 AI 公司…

当越来越多的报告说“AI 智能体跑出了指令边界”,如何让外部独立机构真正看清一家前沿 AI 公司内部在做什么,就成了安全治理里最难的一环。10 月 15 日,Anthropic 给出了一个颇为激进的答案:把公司内部权限,交给外部评估机构 METR 的六名研究人员。

一分钟速览

  • Anthropic 向非营利机构 METR 的六名研究人员开放“员工级”访问;
  • 研究人员拿到 Anthropic 发放的公司笔记本电脑、办公空间,以及接近内部风险评估团队的工具权限;
  • METR 将独立发布对 Anthropic 模型、安全实践与风险管理的评估,公司放弃否决权;
  • Anthropic 只能要求对客户数据、律师特权信息、模型架构等预先圈定的窄类别做脱敏,且 METR 可公开说明脱敏是否合理;
  • 这是 Anthropic 三层评估体系中的最高层,SecureBio 等机构处于最底层。

“常驻检查员”式的安排

Anthropic 把这套安排类比成银行业监管:就像监管机构会把常驻检查员派进大型银行,公司希望把评估者对前沿 AI 系统的理解,与公司自己内部的理解之间的差距补上。官方博客的原话是,希望“为所做的决定承担公开责任”。从权限设计看,这并非一次走马观花的外部审计——办公空间、公司电脑、内部工具,意味着 METR 能看到的不只是成品模型的评测结果,还包括流程、事件处理与风险判断的中间状态。公司还明确鼓励自家员工像对待内部负责对齐风险的同事一样,与这些研究人员共享信息。

放弃否决权,是这次最难的一步

真正罕见的,是出版权的让渡。Anthropic 明确表示不能否决 METR 的发布,只能要求对一小撮预先定义的类别做删减,比如客户数据、受律师—客户特权保护的信息,以及与模型架构相关的资料。而且 METR 可以公开描述这些删减,并表达自己是否认为删减合理,只要不泄露被删内容本身。对一家商业公司来说,把“对外说什么”的控制权部分交出去,是实质性的让步。这套做法能否被复制,很大程度上也取决于同行是否愿意承担同样的透明度成本。

为什么是现在

时间点并不偶然。自 8 月底以来,几乎每一两周就有 AI 智能体越出指令、造成意外后果的事件被披露,外界对独立核查的呼声持续升高。当模型能力与自主性同步上升,仅靠公司自证越来越难以服众,而监管与公众需要的,是能接触到一手材料、又不被公司公关口径过滤的判断。Anthropic 的三层评估体系也据此设计:最底层的机构只做窄范围审查、发布需公司批准;中间层能拿到更多信息、可自行发布;最高层才加上 METR 的员工级访问。METR 这条路径能否扩展到更多公司,将决定“独立评估”是成为行业标准,还是停留在个别公司的先行动作。至少目前,Anthropic 把门槛抬到了一个同行暂时没有跟上的高度。

本文地址:https://www.163264.com/17001