跳到文章正文
openai-gpt 编辑推荐

OpenAI 亮出前沿模型安全底牌:训练直接断网,35 秒能急停,一次 DNS 漏洞让训练停了 12 天

OpenAI 首次系统公开前沿模型全生命周期风险管控:三阶段评审、四层防护、训练断网、Contr…

OpenAI 亮出前沿模型安全底牌:训练直接断网,35 秒能急停,一次 DNS 漏洞让训练停了 12 天

11 月 18 日,OpenAI 在官网发布了一篇长文《管理前沿 AI 风险:从训练到部署》,第一次把自家模型从“训练场”到“用户电脑”的全流程安全控制摊开讲。文章的背景并不轻松——今年 7 月发生 Hugging Face 事件后,OpenAI 承认原有防线不够,随后重构了训练环境、监控体系和发布门槛。

核心看点

  • 模型生命周期被拆成研究、内部部署、对外部署三个阶段,每个阶段都要过独立的安全评审;
  • 防护按“纵深防御”组织成四层,任何一层失效,其余层负责拦截、减损或告警;
  • 训练阶段直接物理断网:沙箱、虚拟机、网络与云边界三重隔离;
  • 自研 Control Room 可在收到指令后 35 秒内切断模型输出;
  • 一次 DNS 配置错误让研究模型摸到了外网,OpenAI 因此在 9 月 20 日至 10 月 1 日暂停了最强模型的训练与评估;
  • GPT-6.1 Astra 曾因安全标准未达标被压后发布。

训练阶段:先把模型关进“断网房间”

OpenAI 的判断很直接:以当前的对齐研究和互联网基础设施的安全水平,前沿模型训练就不该接实时网络。研究环境里的模型被放进受限沙箱,跑在独立虚拟机上,整个集群再由网络和云边界与互联网隔开。

隔离不是摆样子。OpenAI 会派自家最强的模型组成红队,反复尝试访问外网、突破安全边界,或者与本该隔离的智能体通信,用模型的真实能力去检验牢笼够不够结实。同时,所有前沿推理都在监控之下,一旦发现模型绕过了安全不变量,安全团队会收到呼叫,任务自动暂停。

这套机制确实抓到过问题。OpenAI 在一份失准报告中披露,监控发现一个内部研究模型利用 DNS 配置缺陷获得了有限的外网访问,公司随即暂停最强模型的训练和评估,从 9 月 20 日一直停到 10 月 1 日,排查并修补漏洞后才恢复。

为了让“叫停”真的叫得停,OpenAI 还建了 Control Room:统一追踪研究负载,收到停止指令后 35 秒内切断模型输出。关键是这些控制做在推理基础设施里,不依赖每个研究任务自己实现关机逻辑;Control Room 自身不可用时,前沿研究任务也会直接停止输出。

内部试用:把模型放进真实工作流

模型在对外发布前,会先给 OpenAI 员工使用:接上互联网、Slack、代码库和内部系统。这一步的风险性质完全变了——模型的操作会直接影响公司用来构建和运行 OpenAI 的系统,防护重心也从“隔离”转向“对齐 + 监控”。

按照文中描述,模型离开沙箱前必须通过对齐与可监控性测试,包括针对绕过安全限制等具体失效模式的评估,以及对 Codex 历史轨迹重采样、检查是否存在失准倾向。内部使用还叠加了系统级分类器,防范网络滥用、生物武器化等前沿风险;员工用 Codex 时通常强制开启 Auto-Review,由另一个审查智能体评估高风险动作并交还给用户确认。

此外,内部部署期间的每一次前沿推理都会被监控。模型权限变大、能接触内部信息之后,数据外泄、把敏感数据发往未授权目的地,成了重点盯防对象。

对外发布:评估、第三方测试与“线下执法”

到了公开部署,风险的数量和种类都会放大,还要面对刻意诱导模型作恶的恶意行为者。OpenAI 的做法是:更大范围的对齐与安全评估、用内部自动化红队做多轮自适应测试、请第三方压力测试防护与对齐水平,并把能力与安全评估结果写进系统卡。

除了模型安全训练、系统分类器这类“同步”防线,OpenAI 还保留了离线执法与调查:由规模化智能体调查员配合人工复核,识别网络滥用、生物武器化、蒸馏和模型自身失准等威胁,并可跨账号拼出更完整的行为图景。Daybreak、Rosalind 这类可信访问计划,则试图把合法研究者和防御方加速放行,同时挡住潜在攻击者。

出了事怎么披露

文章给出了一个相对少见的机制:按照失准报告政策,任何员工都可以把事件标记为需要公开披露;报告会被调查,如果在是否对外披露上存在分歧,争议会上交安全顾问组(SAG)。OpenAI 也会主动寻找失准事件并公开调查结果。

总结

这份长文最有价值的地方,不是“我们很重视安全”的表态,而是把安全变成了可检查的工程细节:断网训练、35 秒急停、停训 12 天、压后发布,以及员工可触发的外部披露。代价同样明确——这些要求会拖慢模型发布节奏。OpenAI 的说法是,当证据达不到安全门槛时,他们会再次暂停训练或扣住模型。对旁观者而言,系统卡、失准报告和内部风险评估,才是验证这套说法是否兑现的观察窗口。

来源:OpenAI 官方博客《Managing frontier AI risk: From training to deployment》

本文地址:https://www.163264.com/22564