行业/好文 编辑推荐
前 Anthropic 研究员纽约作证:AI 或在数年内失控,“两家公司在拿生命赌博”
AI 安全争论,正在从论文走向听证会。10 月 8 日,有报道称,曾在 Anthropic 与 …
文章目录
AI 安全争论,正在从论文走向听证会。10 月 8 日,有报道称,曾在 Anthropic 与 OpenAI 任职的研究员雅各布·考克森在纽约市议会关于 AI 风险的听证会上作证,警告 AI 很快就能自主开展研究,人类可能完全无法掌控其后的发展。
一分钟速览
- 前 Anthropic 研究员考克森在纽约市议会听证会作证,警告 AI 可能威胁人类生存;
- 他称顶尖前沿实验室的首要目标,是让 AI 研究实现自动化;
- 他表示在 OpenAI 时,团队为自动化 AI 研究员设定了 2027、2028 年前后的阶段性目标;
- 他呼吁 AI 实验室提高透明度、放慢发展步伐。
“某种意义上,我在研究怎么让 AI 取代自己”
27 岁的考克森曾在 Anthropic 从事模型能力研究,上个月公开宣布辞职。他在听证会上表示,顶尖前沿 AI 实验室的首要目标,是让 AI 研究实现自动化。“我在上一份工作中,某种意义上就是在研究怎么让 AI 取代自己。”他称,在 OpenAI 时,团队为自动化 AI 研究员设定了 2027 年、2028 年前后的阶段性目标,而研发进度符合甚至超过预期——“距离那个时候只有几个月,不是几十年。”
他以亲身经历描述了进度:大部分代码由 AI 编写,而“人们也不再那么仔细地检查代码”。在他看来,两家公司没有充分的安全保障,却仍在推进研发。
争议与分歧
考克森的证词,无疑是 AI 安全阵营中最尖锐的一类声音。他呼吁实验室提高透明度、放慢技术飞速发展的步伐,并批评行业沿用初创企业“先快速推进、出了问题以后再修”的思路。需要指出的是,这类判断属于个人观点,业界对此存在明显分歧:多数从业者认为风险真实存在,但对时间表与概率的估计远没有如此悲观。
趋势洞察:安全议题正在被“制度化”
无论具体判断如何,“AI 失控风险”已经不再是边缘话题。从政策层面看,各国政府正在把 AI 安全纳入监管议程;从行业层面看,前沿实验室也不得不公开更多安全报告。争议的价值,或许正在于让安全从“信念问题”变成“可被检验的工程问题”。
本文地址:https://www.163264.com/16461