跳到文章正文
报告 编辑推荐

METR 更新那张“最被误解的图”:AI 任务时长还在指数涨,判断力却没跟上

如果你关注 AI 进展,大概率见过那张图:横轴是年份,纵轴是“AI 能独立完成的任务有多长”,曲…

如果你关注 AI 进展,大概率见过那张图:横轴是年份,纵轴是“AI 能独立完成的任务有多长”,曲线一路陡峭向上。它被引用过无数次,也被误读过无数次。11 月 20 日,METR 发布了这张“时间跨度图”的重大更新——加了更长、更开放的任务,结论比原来复杂得多。

METR 更新那张“最被误解的图”:AI 任务时长还在指数涨,判断力却没跟上
METR 更新后的任务时间跨度图

先说原来的方法。METR 让模型去做一整套任务,每项任务都有真人做过,任务的难度用“人类完成它需要多长时间”来打分。然后看模型能完成多长的任务,就得到它的“时间跨度”。旧图显示,前沿模型能完成的任务长度大约每四个月翻一倍。

一分钟速览

  • METR 更新了其著名的“时间跨度”评测图,新增更长、更开放的任务。
  • 旧结论仍然成立:前沿模型可完成任务的长度约每四个月翻倍。
  • 新发现:模型在需要判断力的任务上,表现弱于编程和数学。
  • 原因在于强化学习依赖“可验证”的成功信号,开放任务难以自动判定。
  • 这类判断型任务,恰恰是自动化科研与研发的关键。

“可验证”是 AI 进步的秘密,也是它的边界

为什么模型在编程和数学上进步飞快?因为这两类任务的成功与否可以被自动检验:代码能跑通、答案能验证。研究者可以让模型反复尝试,强化通向成功的神经路径,削弱导致失败的路径。强化学习最擅长的,就是这种有明确奖励信号的环境。

但换成“选一个值得投入的研究方向”“判断一份商业方案是否靠谱”“评估一个假设有没有前途”,成功与否很难在短时间里自动判定,甚至根本没有标准答案。强化学习就失去了抓手,评测也变得困难。这正是 METR 旧图没有覆盖的部分。

更新后的评测把这些任务加了进来。结果是:在可验证任务上,曲线依旧漂亮;一旦进入需要判断力、语境理解和长期权衡的领域,模型的表现就没有那么亮眼了。这不是说模型不行,而是说“能力”本身是分层的——会写代码不等于会做决策。

为什么这件事重要:科研自动化的门槛

METR 关注这个问题,是因为“AI 能不能自动做研发”正成为行业最热的话题之一。如果模型只能在有标准答案的任务上变强,那么它能承担的是研发流程里的执行环节:写代码、跑实验、整理数据、复现结果。但提出假设、选择方向、判断哪条路值得走,仍然需要人。

这跟前沿实验室的说法形成了有趣的对照。一方面,模型在基准测试上的分数不断刷新;另一方面,真正决定科研效率的“品味”和“判断”,很难被基准捕捉。METR 的更新,实际上是给过热的叙事泼了一点冷水:指数曲线是真的,但它衡量的只是某一类能力。

那张图为什么总被误读

METR 自己也承认,旧图“广为流传,也广被误解”。原因在于指标太复杂:时间跨度不是“模型有多聪明”,而是“它能独立完成多长的任务”;翻倍速度也不是“四年后取代所有人”,而是基于特定任务集的外推。媒体喜欢把纵轴当成能力总分,读者自然会被吓到或兴奋到。

新图的价值,在于把边界画得更清楚。它告诉我们,进步确实在发生,而且速度不慢;但进步是不均衡的,越靠近开放式判断,曲线越平。对政策制定者、企业采购者和普通用户来说,这比一个单一的天花乱坠的数字更有用。

趋势:评测正在从“分数”走向“结构”

过去几年,AI 评测的主线是刷榜:MMLU、GSM8K、SWE-bench,一个接一个。但榜单一多,大家开始发现分数之间的可比性越来越差。METR 这类工作的意义,是试图用更结构化的方式回答“AI 到底能干什么”,而不是“AI 考了多少分”。

接下来的看点有两个:一是 METR 会不会把新任务集开放出来,让其他机构复现;二是前沿模型在“判断型任务”上的进步速度,能否追上可验证任务。如果追得上,科研自动化的时间表要往前拨;如果追不上,那么未来几年最稀缺的仍然是能提出好问题的人。

曲线还会继续往上走。但读懂它,比惊叹它更重要。

本文地址:https://www.163264.com/22275