跳到文章正文
openai-gpt 编辑推荐

OpenAI 发布 LifeVal:不考奥数,考你能不能用 AI 把日子过明白

过去几年,衡量大模型能力的基准大多长这样:数学竞赛题、代码题、专业知识问答。它们擅长区分模型强弱…

过去几年,衡量大模型能力的基准大多长这样:数学竞赛题、代码题、专业知识问答。它们擅长区分模型强弱,却很难回答一个更朴素的问题——普通人用 ChatGPT,到底有没有把生活变轻松。OpenAI 周一发布的 LifeVal,就是冲着这个问题去的。

一分钟速览

  • LifeVal 是一个衡量 AI 完成日常任务的基准,覆盖育儿、健康、教育、家务、财务、购物、政务等场景。
  • 任务设计参考了美国时间使用调查、跨国时间使用研究,以及一份 3995 人的代表性问卷。
  • OpenAI 用它跟踪过去一年模型在日常任务上的进步。
  • 核心判断标准不是“答得好不好”,而是“事情有没有真的办成”。

为什么需要一个新的基准

考试型基准有一个副作用:它们把“智能”定义成解题能力。模型在数学和代码上越来越强,但用户真正高频的需求往往是琐碎的——找托育、查政府办事流程、做家庭预算、准备开学材料、改一份食谱、订一周的菜、设计一个能坚持下来的健身计划。这些事情没有标准答案,步骤多、信息散、还经常需要跨系统操作。

OpenAI 的做法是先搞清楚“人们把时间花在哪”。研究团队用了两份现成的时间使用调查,覆盖美国和国际样本,又补做了一份 3995 人的代表性问卷,逐项询问用户在哪些任务上最希望得到 AI 帮助。最终形成的任务集,集中在照护、健康、教育、家庭事务、个人财务、购物和政务服务几个大类。

评测的不是回答,是完成

LifeVal 的定位很明确:如果 AI 只是一个更会说话的搜索框,价值有限;真正的个人助理应该能采取行动,把事情办完。这意味着评测要看你能否找到正确的入口、填对表格、在多个步骤之间保持状态、在信息缺失时做出合理假设,而不是生成一段漂亮的建议。

这也让评测变得更难。日常任务的正确性往往依赖外部系统,同一个任务在不同地区、不同家庭的解法不一样;有些任务涉及隐私,不可能完全自动化验证。OpenAI 目前把它作为内部跟踪指标,用来观察模型随时间的改进,而不是一个公开排行榜。

基准背后的产品意图

LifeVal 的出现,和 ChatGPT 的产品方向是一致的:从“问答”走向“代理”。当模型开始接工具、读写文件、调用第三方服务,能力的瓶颈就从语言理解转移到了任务规划、错误恢复和权限管理。一个能在纸上算出预算的模型,未必能在真实的银行页面里完成转账;一个能背出办事流程的模型,未必能填对一张申请表。

对 OpenAI 来说,这套评测还有一层商业意义。个人助理是订阅制最自然的场景,也是用户留存的关键。如果模型能稳定地替用户省下时间,订阅价格就有了支撑;如果只能陪聊,用户迟早会流失。

需要警惕的地方

第一,任务集的文化偏向。时间使用调查和问卷主要覆盖美国及部分国际市场,政务、医疗、教育流程都高度本地化,直接套用到其他地区会失真。第二,隐私边界。要完成育儿、财务、政务类任务,助理需要访问大量个人数据,评测如何在不泄露隐私的前提下验证“办成了”,是一个难题。第三,成功的定义。省时间不等于做对事,一个快速但错误的答案,可能比慢一点但正确的建议更糟。

趋势洞察

AI 评测正在从“能力上限”转向“日常下限”。前者回答模型能考多高,后者回答模型能不能被信任地放进生活。接下来,类似的基准会越来越多,竞争点也会从分数转向任务完成率、人工接管率和单位任务成本。对用户而言,这未必是坏事:当厂商开始用“有没有帮上忙”来衡量模型,产品才会真正往好用的方向改。

本文地址:https://www.163264.com/18919