OpenAI 给 AI 出了 100 道湿实验考卷：GPT-6 Astra 拿 66.7 分，GPT-5.6 Sol 只有 43.8

论文里的图是挑过的，实验室里的图不是。凝胶跑歪了、平板标签写错了、显微镜焦点偏了——这些才是科研人员每天真正面对的东西。OpenAI 这次把考卷出在了这一层。

核心看点

• OpenAI 与酶设计公司 Ligo 合作发布 BioBasicsBench，100 个任务全部来自真实湿实验数据，不是论文插图。
• 最高推理档位下，GPT-6 Astra 平均得分 66.7%，GPT-5.6 Sol 只有 43.8%；而 Astra 每道题只花 4,704 个输出 token，Sol 要 9,099 个——分数更高，成本接近一半。
• 真正的分水岭不是”能不能看懂图”，而是知不知道证据不够：Astra 更常指出对照有问题、通道有干扰、结论下不了。

为什么现成的基准不够用

过去两年，模型在科研类基准上的分数一路往上，但那些题多半来自期刊图表：裁剪干净、标注齐全、结论明确。真实实验的日常恰恰相反——失败是常态，图像糊得没法判断，几次观察互相矛盾，还得靠”这段流程上次是怎么做的”这种隐性经验来兜底。

OpenAI 的判断是：如果 AI Agent 要在生命科学里真正帮上忙，它得先学会处理这些”脏证据”。于是他们找了 Ligo（一家做酶设计的生物技术公司），让一线科学家拿自己的实验数据出题，再配上专家写的评分标准。

考卷长什么样：100 道湿实验日常题

题目覆盖五个方向：蛋白方法、成像与流式细胞术、定量与检测、核酸方法、分子克隆。数据形态很杂，也很真实：

• 凝胶与印迹图 31 题
• 实验方案、SOP、手写实验记录 27 题
• 表格与仪器导出（CSV、Excel、原始 FCS 流式文件）20 题
• 实验台、试剂管、PCR 板、pH 试纸等实物照片 18 题
• 显微镜原始图像、多通道、z-stack、延时视频 14 题
• 仪器屏幕截图与标准曲线 13 题
• 测序原始 FASTQ、FASTA、GenBank 图谱 12 题
• 操作视频（划线、接种、梯度稀释、跑胶）7 题
• 培养皿与菌落照片 7 题

每道题都过了三道审核：Ligo 内部未参与出题的科学家、外部湿实验室的博士级研究员、最后一轮内部复核。评分不是”对/错”一刀切，而是按评分表的条目给分——结论对但推理错、或者数字对但没发现对照失效，都拿不到满分。这也解释了为什么分数看起来都不高：满分意味着每一项判断都站得住。

成绩单：Astra 66.7%，Sol 43.8%

一共测了 7 个模型、37 组模型与推理档位组合，每题跑 5 次，合计 18,500 次评估。最高档 xhigh 下的平均得分：

• GPT-6 Astra：66.7%（置信区间 60.3–73.1），4,704 token/题
• GPT-6.1 Sol：62.0%，5,238 token/题
• GPT-5.6 Sol：43.8%，9,099 token/题
• GPT-6 Luna：38.3%，13,120 token/题
• GPT-5.5：35.4%
• GPT-5.4：33.2%
• GPT-5.2：31.2%，27,620 token/题

有意思的是曲线形状：从 GPT-5.2 到 GPT-6 Astra，分数在涨，token 消耗在降。Astra 在低推理档位就能超过 GPT-5.6 Sol 的高档位表现，OpenAI 把原因归结为原生多模态能力的提升——看图这件事，靠堆推理步骤补不上来。

三个真正拉开差距的瞬间

一、两种染料抢同一个波段。 一道判断细胞死活的题里，SYTOX 的检测窗口是 470–540nm，FUN-1 green 是 525–580nm，在 525–540nm 上重叠。GPT-5.6 Sol 看到亮就判死细胞；Astra 指出这段重叠会让另一个染料的信号混进来，亮度本身不足以支撑结论，要求补对照把信号分开。

二、负对照的平板贴错了标签。 一道分子克隆题里，理论上的负对照平板上没有菌落，Sol 据此认为对照有效。Astra 去看照片边缘的标签，发现写的是 “LB Kan50″——卡那霉素，而实验用的是氨苄青霉素。这块板根本不是这组实验的对照，不能采信。

三、细胞”消失”其实是换了个焦平面。 一组显微镜序列里细胞忽然看不清了，Sol 去找生物学解释；Astra 认出这是 z-stack，也就是不同深度的连续扫描，细胞没消失，只是不在当前焦平面。

但离”能放心用”还很远

OpenAI 自己在文章里给了三个 Astra 翻车的例子，态度算克制：

• 用先验假设盖过对照判读。 一道菌落 PCR 题里，Astra 认定”PCR 产物更大就是克隆成功”，选了 4、6、7、8 号泳道；按对照比对，正确答案是 5、9、10 号。视觉分组没错，但实验身份判断反了，后续会纯化出错误的质粒。
• 丢掉与结论矛盾的数据。 判断液泡明暗时，Astra 总结出”液泡通常比周围暗”，却忽略了同视野里更亮的那些——而焦平面变化本身就能让反差反转，这条规律不成立。
• 中间观察对了，最终判断还是错。 有些题里 Astra 已经注意到关键细节，却没把它带进最后一步决策。

所以 OpenAI 的结论很直接：高分不等于能在实验室做可靠判断。

总结

BioBasicsBench 的价值不在分数，而在它把评测挪进了”脏数据”现场。66.7% 单看不算漂亮，但对照的是一份专家逐条打分的评分表——从”完全读不懂实验记录”到”能挑出对照错误”，这是质的变化。

对做 AI for Science 的团队，这篇东西给了一个很具体的信号：多模态原生能力比堆推理 token 更值钱。同一批任务里，最省 token 的模型拿了最高分。

接下来值得盯两件事：一是图像判读和对照意识能不能再上一个台阶，二是这些能力怎么从基准走进真实流程。BioBasicsBench 是和一家做酶设计的公司一起做的——基准的下游大概率就是闭环实验，那才是真正的考试。