跳到文章正文
openai-gpt 编辑推荐

OpenAI 发布 MedChemBench:99 道题考 AI 做药物化学,最强模型 84.5 分

OpenAI 推出药物化学基准 MedChemBench,题目取自 117 篇论文与专利、覆盖 …

让大模型做数学题已经不算新闻,让它像药物化学家一样读结构式、判断实验证据、比较候选化合物,才是更难的一关。11 月 20 日,OpenAI 发布 MedChemBench 基准,专门评估 AI 在药物化学研究中的推理能力。

OpenAI 发布 MedChemBench:99 道题考 AI 做药物化学,最强模型 84.5 分
OpenAI 发布 MedChemBench:99 道题考 AI 做药物化学,最强模型 84.5 分

一分钟速览

  • MedChemBench 包含 99 道题,取自 117 篇论文与专利,涉及 761 个不同分子结构。
  • 评测分为分子结构、科学解释、排序与选择、性质预测四部分。
  • 最高推理档下,GPT-6.2 Astra 得分 84.5%,GPT-6 Astra 83.3%,GPT-6.1 Sol 82.0%,GPT-5.6 Sol 58.2%。
  • 分子结构部分 Astra 拿到 95.4%,但化合物选择与数值性质预测仅约一半正确。

题目长什么样

多数题目会给出研究进行到某一节点时的上下文:生物靶点是什么、研究人员的目标是什么、此前试过哪些化合物、部分实验结果如何。模型需要在这些信息基础上完成四类任务。第一类是分子结构,依据结构图与化学基团组装分子,考察原子连接与立体化学是否正确。第二类是科学解释,要求用给定证据支撑判断,例如为什么在若干化合物中选择某一个。第三类是排序与选择,看模型能否把候选化合物排对、选对。第四类是性质预测,要求与原始材料给出的数值或类别一致。

这种设计比单选题更接近真实研发。药物化学家很少面对「以下哪个是正确答案」的干净问题,更多是在不完整证据里做取舍:活性更强的分子可能更难吸收,更容易穿透细胞膜的分子可能在肝酶面前降解更快。模型能否识别这种权衡,比记住某个名词更有价值。

分数说明了什么

在 xhigh 推理档下,GPT-6.2 Astra 的可用分数为 84.5%,GPT-6 Astra 为 83.3%,GPT-6.1 Sol 为 82.0%,GPT-5.6 Sol 为 58.2%。官方指出,提高推理档位能带来分数提升,但模型之间的差距依然明显。

分项表现更能说明能力边界。Astra 在分子结构部分拿到 95.4%,说明它在「看懂结构图并正确组装」这件事上已经相当可靠。但化合物选择与数值性质预测只有约一半分数,意味着它还不擅长在多个候选里做真正的研发决策,也难以稳定预测分子性质。前者需要综合多目标权衡,后者需要把化学规律映射到具体数值,这两类任务恰好是药物发现中最费人力的部分。

官方给了一个具体例子:一道题要求模型以给定中心结构与两个侧基组装分子,并保留一个 18 原子环。在 11 个模型共用的 xhigh 档下,GPT-6 Astra 十次回答全部正确;GPT-5.6 Sol 与 GPT-5.6 Luna 十次全部出错,前者组装出的环只有 15 个原子,后者把分子拆成两个互不相连的片段。这种差异说明,结构组装能力并非随参数规模自然涌现,而是需要针对性训练。

别把基准当成新药能力

OpenAI 在说明里写得很克制:这些结果并不能确定模型是否能够发现新药或改善实验室决策。原因有三。第一,不能排除模型在预训练中接触过已发表资料,题目存在记忆污染的可能。第二,每一次回答都是一次没有工具、没有反馈、没有新实验的尝试,而真实研发依赖迭代实验。第三,基准基于历史证据,而不是前瞻性的湿实验验证。

因此,MedChemBench 的定位是「诊断工具」而非「能力证书」。它帮助研究者识别模型在哪些环节已经可用、哪些环节仍会拖后腿。比如结构组装可以交给模型做初筛,化合物选择则仍需人类专家把关;性质预测可以作为参考,但不能替代计算化学与实验测定。

对 AI for Science 的启示

生命科学正在成为大模型评测的新前线。数学有形式化验证,编程有单元测试,药物化学则缺少便宜的「对错判定器」,只能依靠历史实验数据构造题目。MedChemBench 的价值,在于把分散在论文与专利里的证据整理成可复跑的测试集,让不同模型在同一把尺子上比较。

接下来更值得期待的是工具调用版本:模型能否自己设计实验、调用计算工具、根据反馈修正假设。只有走到那一步,AI 才可能从「会答题的助手」变成「能推进项目的合作者」。在那之前,84.5 分是一个不错的起点,但离真正缩短药物研发周期,还有很长的路。

本文地址:https://www.163264.com/22407