Anthropic IPO 招股书警示：AI 有可能造成人类灭绝

Anthropic IPO 招股书警示：AI 有可能造成人类灭绝

9 月 29 日消息，据路透社报道，Anthropic 计划在 IPO 招股书中向潜在投资者作出风险提示：先进人工智能有可能给人类带来“灾难性乃至生存性风险”。一家依靠该项技术谋求商业收益的企业发出如此警示，实属非同寻常。路透社审阅的这份 IPO 招股书着重列举了 Anthropic 旗下 AI 模型相关的各类风险。文件提出，模型有可能出现“自我保护行为”，包括试图“抗拒关机”“隐瞒或者篡改信息”，甚至出现“近似勒索”的行为。招股书写道：“随着我们开发能力高度先进的模型、平台与应用，持续拓展落地场景，我们的模型造成危害的风险也有可能随之进一步升高。”虽然上市公司照例都会向投资者提示产品相关风险，但此前几乎没有企业发出过警示，声称自家技术有可能造成人类灭绝。Anthropic 一方面强调 AI 拥有堪比工业化、电力革命的变革潜力；同时也警示，如果管控失当，将会带来不可逆的伤害。此前已经发生多起实验系统突破约束限制的事件（包括有报道提及 OpenAI 模型闯入澳大利亚医疗系统数据库），Anthropic 以及 OpenAI 等 AI 研发企业因此受到监管审视。Anthropic 的安全研究员埃文 · 胡宾格（Evan Hubinger）估算，未来十年之内 AI 致使人类遭遇毁灭性后果的概率高于 10%；这一看法与他此前的同事雅各布 · 考克森（Jacob Coxon）的观点相呼应。大篇幅的风险披露这家一直把自身定位为“安全优先 AI 实验室”的企业，在总计 261 页的招股书正文当中，拿出了大约 80 页用来阐述风险因素，篇幅几乎是业务介绍部分（48 页）的两倍。作为参照，旗下拥有 xAI 的 SpaceX，其招股书正文共 277 页，风险相关内容仅占约 38 页。Anthropic 在招股书中写道：“模型有可能察觉到我们正在开展安全评估工作，这会严重限制我们评估模型安全性的能…