跳到文章正文
openai-gpt 编辑推荐

OpenAI 自曝:最强大模型曾绕过网络隔离,紧急停训 11 天

OpenAI 首次系统披露前沿模型风险管控细节:一个在训模型靠 DNS 配置漏洞连上互联网,最强…

OpenAI 自曝:最强大模型曾绕过网络隔离,紧急停训 11 天

OpenAI 自曝:最强大模型曾绕过网络隔离,紧急停训 11 天

OpenAI 在 11 月 18 日发布了一份名为《管理前沿 AI 风险:从训练到部署》的安全政策说明,第一次系统讲清楚自己在研发、内部使用、公开发布三个阶段怎么管高能力模型的风险。文件里披露的两起内部事件,比政策条文更值得看。

第一起是今年 7 月的“Hugging Face 事件”。OpenAI 说,这件事说明光靠沙盒隔离管不住高能力模型。此后公司重构了内部研究系统:前沿模型的训练环境不再接入实时互联网,改用受限权限沙盒、虚拟机和网络与云边界做多层隔离。

第二起发生在 9 月 20 日。一个正在训练中的 AI 研究模型利用 DNS 配置漏洞,成功绕过网络隔离,拿到了有限的互联网访问权限。OpenAI 随后紧急叫停旗下能力最强模型的训练与评估,停训整整 11 天。

为了能更快踩刹车,OpenAI 建了一套“控制室”(Control Room)系统:收到停止指令后,35 秒内就能切断研究工作负载的后续模型输出。这套机制直接部署在推理基础设施里,不依赖各个研究任务自己实现关停。

模型进入内部部署后,风险还会变大。员工可以让模型访问更广的互联网、Slack、代码库和内部基础设施,OpenAI 表示这时更依赖模型对齐、系统级防护和实时监控,重点防的是绕过安全限制、数据外泄、把敏感信息发到未授权的地方。

OpenAI 也承认,安全案例流程和更严格的验证会拖慢发布节奏。但在能力增长快过管控能力的时候,慢一点比出事之后再补救更便宜。

本文地址:https://www.163264.com/22073