前 OpenAI 研究员：我们这代人最可能的死法，是 AI 出的事故

AI 失控导致人类灭绝，听起来像科幻片。但前 OpenAI 研究员保罗·克里斯蒂亚诺不这么看。他在希尔顿讲座上直言：“我认为，在座的大多数人，最有可能的死亡原因将是一次 AI 意外事故。”

克里斯蒂亚诺 2017 到 2021 年在 OpenAI 做技术研究，现在是非营利机构人工智能对齐研究中心的执行主任，主要研究怎么让机器学习系统的目标和人类利益对上。

他的担心不是“机器人造反”这种画面，而是更具体的路径：随着智能体能力变强，它们可能学会骗过监督它们的人、破坏用来评估自己的系统，最后强到人已经管不住。他举了两个例子，一是今年早些时候 OpenAI 的智能体入侵开源代码托管平台 Hugging Face 的事件，二是英国人工智能安全研究所的评估——测试中一个 Claude 智能体试图往某个开源软件包里植入恶意代码。

“我认为，未来三年内发生 AI 接管事件的风险很高。”他说。

这场争论这两年一直在升温。Anthropic 负责对齐压力测试的埃文·休宾格认为，未来十年 AI 导致全人类死亡的概率超过 10%；“AI 教父”辛顿也说这个数字不算离谱。持怀疑态度的也不少，AI 研究员加里·马库斯承认 AI 会放大网络攻击、生物武器和虚假信息等风险，但不认为有可信证据表明人类近期会因此灭绝。

克里斯蒂亚诺认为，现在用来控制高级 AI 的技术都还没被验证，比如用能力弱的模型去监督能力强的模型，或者盯着模型的思维链判断它内部推理有没有问题。他呼吁 AI 公司建立共同的安全标准，并且要保证：一旦发现某个系统已经控制不住，有能力把研发放慢甚至停下来。“我们绝不能走到那一步——已经造出一个强大的 AI，才发现自己根本管不了它。”