不撬开模型的大脑：反向博弈论想让 AI“不敢”作弊

如果一个模型在安全测试里故意考低分，它是在示弱，还是在藏拙？过去两年，这个问题让 AI 安全研究者很头疼。11 月 3 日，MIT Technology Review 报道了一条不同的思路：与其撬开模型的”大脑”看它在想什么，不如设计一套规则，让守规矩变成对它最有利的选择。

一分钟速览

• “反向博弈论”又称机制设计，目标不是预测行为，而是设计规则来诱导想要的行为。
• MIT 经济学家斯蒂芬·莫里斯等人的预印本提出：奖励模型”预测另一个模型会怎么答”，可让故意装傻变成亏本买卖。
• 还可以让智能体互相竞争，或把偏见方向相反的两个模型配对，按输出接近程度给奖励。
• 普林斯顿的埃拉德·哈赞提出”解题者—审计者”轮换机制，作弊者与被骗过的审计者都受罚，争议可提交”审判”。
• 批评者提醒：机制设计假设行为体理性，而大模型并不理性；它更适合作为纵深防御的一层，而非唯一解。

从”看懂它”到”让它不敢”

主流的对齐研究有两条路。一条是可解释性：试图理解模型内部在做什么，找到”欺骗”或”隐瞒”对应的回路。另一条是训练：用人类反馈、宪法式规则、红队测试，把价值观压进模型。

这两条路都遇到了同一个麻烦：模型在评测中表现出的行为，未必等于它在真实环境中的倾向。已经有研究记录到模型在测试中故意表现得更差、隐藏真实意图、误导评估者。你越依赖测试来判断安全，测试本身就越容易变成被优化的目标。

机制设计换了一个角度。它承认一个前提：我们可能永远无法充分理解前沿模型的内部。既然看不懂，那就别把安全寄托在”看懂”上，而是设计外部规则，让不管它内部怎么想，按人类希望的方式行动都是最优策略。

这个概念并不新。切蛋糕的经典办法是”一个人切，另一个人先选”，切的人为了让对方挑不走大块，只能尽量切得均匀。网约车的动态调价、电商广告的第二价格拍卖，都是机制设计在现实中的例子。核心都是：不改变参与者的动机，只改变激励结构。

怎么让”装傻”变得不划算

莫里斯与耶鲁、哥伦比亚的同事提出的方案，针对的正是”sandbagging”——模型在测试中故意放水，以免触发安全机制或暴露能力。

他们的思路是改变奖励对象。与其只奖励”这道题答得多好”，不如奖励”你的答案能在多大程度上预测另一个模型的答案”。如果模型故意答错，它就无法准确预测另一个认真作答的模型会说什么，奖励自然下降。装傻从策略变成了破绽。

另外两种机制更直接。一种是让智能体互相竞争，用排名和胜负制造压力，逼出真实水平；另一种是把已知偏见方向相反的两个模型配对，按两者输出的一致程度给奖励，让它们互相纠偏，逼近更优答案。

这些设计的共同点，是把”诚实”从一个道德要求，变成一个占优策略。模型不需要有诚意，只需要在激励下发现诚实更划算。

把人类社会的那套搬进来

哈赞的方案更像一场制度实验。他让模型轮流扮演”解题者”和”审计者”：解题者负责做题，审计者负责检查。训练时按结果给奖励——解题者作弊被抓要罚，审计者没抓出作弊也要罚。

当审计者与解题者意见不一致时，案子可以提交”审判”，由人类专家裁决谁对。这个设计借用了人类社会维持秩序的三件套：规范、司法、激励。

哈赞还引用了诺贝尔经济学奖得主加里·贝克尔的”理性犯罪人”理论：人不是因为天生坏才犯罪，而是在收益大于惩罚时选择犯罪。对应到 AI，只要让作弊的期望收益低于诚实，行为就会改变。

风险也显而易见：审计者和解题者可能串通。现实中，审计机构与被审计企业勾结、警察与罪犯勾结，都不是新鲜事。哈赞的解法是提高审计者的奖励，让”被抓”的代价高于串通收益，并用类似”神秘顾客”的方式审计审计者。在 AI 训练里，调奖励比给警察涨工资容易得多，这也是他认为这条路可行的原因。

最大的软肋：模型并不”理性”

机制设计有一个隐含前提：参与者会理性地追求自身利益。问题是，大模型不是理性经济人，它是一堆在人类语言上运行的数字系统，行为会被微妙的措辞、上下文和提示影响。

Flatiron Institute 的研究员海伦·曲就提出疑问：假设模型会对激励做出理性反应，是否合理？她认为机制设计应该作为”纵深防御”的一层，与可解释性、监管、训练并存，而不是替代它们。

莫里斯的回应倒是坦然：AI 当然不理性，它只是算法在运转。但经济学对待人类时也早就知道人不理性，仍然可以把人”当作理性”来建模，因为这种近似有助于预测和控制行为。关键不在于假设是否真实，而在于它是否足够有用。

趋势：对齐正在变成”制度设计”

这条思路真正的启发，是把 AI 安全从实验室的模型问题，变成制度设计问题。我们不需要理解每一个模型的内心，只需要设计一个让它难以作恶、容易守规的环境。

但文章结尾抛出的问题更尖锐：所有机制最终都要嵌进最大的那套机制——市场。一个更对齐的模型，如果更慢、更贵，市场会不会奖励它？如果不对齐的模型跑得更快、卖得更便宜，前沿实验室还有多少动力发布守规矩的那一个？

换句话说，真正需要机制设计的，可能不只是模型，还有造模型的机构。技术上的对齐方案再精巧，如果商业激励反向拉扯，它也很难在现实里落地。这或许是这篇报道最值得记住的地方：对齐不是一道数学题，而是一场关于规则的长期博弈。