行业/好文 编辑推荐
Anthropic 上市当天,前研究员在总部外抗议:必须禁止 AI 递归自我改进
Anthropic 上市首日,股价大涨,但公司旧金山总部外面并不平静。据《商业内幕》报道,今年 …
文章目录
Anthropic 上市首日,股价大涨,但公司旧金山总部外面并不平静。据《商业内幕》报道,今年 9 月因担忧 AI 发展而离职的前研究员雅各布·考克森,当天和数十名抗议者聚在总部外,举标语、发表演讲,Stop AI 组织的成员还封堵了办公楼入口。

考克森在接受采访时说得很直接:他们买不买股票根本不重要,我们必须阻止递归自我改进。
所谓递归自我改进,就是让先进的 AI 系统参与训练下一代 AI,能力一轮一轮往上叠。这也是不少 AI 安全研究者最警惕的那条线:一旦模型能改进自己,人类对它的理解和控制就会迅速跟不上。
这不是空穴来风。AI 安全研究机构 METR 近期的独立报告发现,AI 正在帮助 Anthropic 加快研发进度。Anthropic 自己在招股说明书里也承认,让 AI 在缺乏监督的情况下完全自主设计下一代模型并不安全,目前正在考虑修改政策,确保前沿模型的开发仍由人类掌控。
但考克森认为这还不够。他呼吁 Anthropic 去游说政府,并与其他企业合作,推动全面禁止递归自我改进。他的判断是,到 2027 年,全球只有少数几个地方有能力做这件事,而这里就是其中之一。
OpenAI 前研究员科科塔伊洛也到场发言。他说,私下里经常听到 AI 研究人员表达对风险的担忧,而让 AI 训练 AI 这种事,简直就是漫画里那些疯狂科学家式的超级反派才会干的。上市钟声和安全警报同时响起,这个画面本身就挺值得琢磨。
本文地址:https://www.163264.com/22185


