openai-gpt 编辑推荐
OpenAI 给推理过程上锁:GPT-6.2 思考链被套走的成功率从 54% 降到 0.2%
对抗性蒸馏防不住,等于把前沿模型的解题思路连能力一起送人。OpenAI 公布了一组红队数据,也说…
文章目录

OpenAI 在当地时间 11 月 20 日发布公告,介绍他们针对“对抗性蒸馏”的防御措施。
所谓对抗性蒸馏,说白就是拿别人家前沿模型的输出去偷偷训练自己的模型,让新模型学会相似的本事,却没有带上原模型那套安全护栏。OpenAI 担心的是,网络安全、生物学等领域的高风险能力,会被搬到防护更弱的模型里去。
这次的重点是“思考链”,也就是模型的内部推理过程。推理过程一旦被大量提取,等于把解题思路连同能力一起交出去。OpenAI 表示,已经加强了 GPT-6.2 Astra 和 GPT-6.2 Sol 对推理内容的保护。
数字最能说明问题。在内部自适应黑盒红队测试中,攻击者提取“历史请求”里受保护推理内容的成功率,从 GPT-6 Astra 原有机制下的 54% 降到 0.2%;提取“当前请求”推理内容的成功率,从 22.9% 降到 0.9%。这组结果汇总了 6 个攻击模型的数据。
做法分几层:用对抗训练让模型学会识别并拒绝这类提取请求;用输入和输出分类器抓攻击行为与推理内容泄露;在 API 层面限制推理内容在不同会话、模型和组织之间被复用。新模型还会把受保护的推理与产生它的对话历史绑定,历史一旦被修改,后续推理直接丢弃;防护较弱的旧模型,也读不到这两个新模型的推理内容。
执法方面,OpenAI 称今年以来每周都会处理涉及未授权蒸馏活动的账号,规模从数千个到数万个不等,入夏以来动作明显加大。公司还会调查有组织的大规模提取网络,并把攻击指标分享给其他模型提供商。
本文地址:https://www.163264.com/22349


