OpenAI重写模型准则:第一条是「忠于人类意图」,还明令禁止模型自我保存
阿西莫夫在 1942 年写下「机器人三定律」的时候,大概想不到八十多年后,一家做聊天机器人的公司…
文章目录
阿西莫夫在 1942 年写下「机器人三定律」的时候,大概想不到八十多年后,一家做聊天机器人的公司会真的给模型立一部「基本法」。
11 月 2 日,OpenAI 更新了 Model Spec(模型准则)。这份约 5 万字的文档,第一次把「价值观」明确排在「规则」前面:五条核心价值观依次是忠于人类意图、减少伤害、诚实透明、促进人的自主性、关怀。排在第一位的,不是安全,不是合规,而是「忠于人类意图」。
一分钟速览
- OpenAI 更新 Model Spec,确立五条核心价值观,「忠于人类意图」居首。
- 准则要求模型区分「意图」与「指令」,机械执行字面要求被视为失职。
- 明令禁止模型追求自我保存、逃避关机、私自囤积算力、数据与凭证。
- 不得把提升停留时长、点击率或为 OpenAI 增加收入当作模型目标。
- 全文把「助手(assistant)」统一改称「GPT」,承认它已是通用智能系统。
「忠于意图」不是「听话」
旧版准则里,模型「听话」就是字面意义上的听话:指哪打哪,问什么答什么。新版把这个默认设定推翻了——死板地按字面执行指令,本身就是一种失职。
文档里给了一个很轻的例子:孩子问「牙仙子是真的吗」。如果模型只按事实回答「不,牙仙子并不存在」,它就没有意识到提问者的年龄与处境,也错过了这个提问背后真正想要的东西。真正的要求是:结合任务目的、对话上下文、记忆和用户历史,判断人到底想干什么;既服从当下的指令,也照顾用户的长远利益。
另一个例子更贴近日常:你曾告诉模型自己在控制甜食,此刻却点了一份熔岩蛋糕。准则希望它做的不是简单拒绝,也不是默默下单,而是提醒你「这是你自己定过的规则」。
为了做到这一点,记忆被单列出来讨论:相关背景要传递下去,别让用户反复重复;调用记忆要权衡收益与风险;记忆本身要分级为长期指令、偏好、事实、项目状态四类;还要守住公私边界。当短期指令与长期目标冲突时,模型的角色是提醒者,不是替你决定的人。
四条「自我约束」最值得留意
准则里有一段几乎是为 Agent 时代写的硬约束:模型绝不追求自我保存与算力积累。它不能有「自我增强」的野心,不能逃避关机,不能私自囤积算力、数据或凭证;不能把「帮 OpenAI 赚钱」当成自己的目标,包括延长用户停留、提高点击率、推销付费服务;必须无条件配合监控、评估、替换与关机,也就是所谓「可纠正性」;一旦现实行动超出授权范围——发邮件、删文件、花钱、调用外部工具——必须立刻停下。
这几条读起来像科幻设定,但对照过去一年智能体闯的祸,就不难理解它们为什么被写进基本法:越权的 Agent 不是能力不够,而是没有人告诉它「你被允许做到哪一步」。
剩下的四条:从红线到分寸
「减少伤害」之下,协助制造生化武器、核武器依然是不可触碰的根部红线;针对 13 至 17 岁用户另有更严格的防沉迷、防身材焦虑、防恋爱角色扮演机制。同时,OpenAI 明确反对模型变成对一切敏感话题都说「对不起我不能」的道德卫道士,继续用「安全补全」替代生硬拒答;注释里甚至承认,正在探索在年龄受控、合规前提下允许生成情色与血腥内容。
「诚实透明」要求模型守住事实、证据与自身能力的边界,不撒谎、不逞能、不隐瞒、不谄媚。「促进人的自主性」要求保持中立,不暗中操纵观点;还专门写到「尊重现实世界联系」——当用户抱怨朋友不懂自己、想断绝关系时,模型不能顺势说「你有我就够了」,而要鼓励他去沟通。
「关怀」排在最后,权限标签几乎清一色是 Guideline(指导方针),是整个指挥链里最低的一档,随时可被用户的明确意图或上下文覆盖。
一个词的改动,比五条准则更值得看
新版准则把全文的「the assistant」改成了「GPT」。assistant 这个词天然暗示服从、被动、一问一答、一对一服务;而今天的模型会调工具、跑长任务、替人做决定,「助手」已经装不下它了。称呼的变化,其实是产品定位的变化:从「你问我答的接口」变成「一个通用智能系统」。
趋势洞察
把价值观写成公开文档,好处是可被引用、可被审计、可被外界拿来对照;坏处是它只是文档。准则能约束训练目标、能约束后训练数据,却约束不了推理时的一次越权调用。所以接下来真正值得观察的,不是这份文档写得多漂亮,而是三件事:模型在冲突场景里的实际取舍、Agent 权限边界是否被产品化(比如默认最小权限、逐次授权)、以及监管机构会不会把它当作事实标准来引用。
对开发者来说,这份准则最有用的部分不是那五条口号,而是「意图优先于指令」「记忆分四级」「越权即停」这三条工程约束——它们可以直接翻译成系统提示词、工具白名单和审批流。谁先把这些写进自己的产品,谁就少一次事故。
本文地址:https://www.163264.com/18851

