OpenAI发布MedChemBench基准,GPT-6.2 Astra得分84.5%领跑
OpenAI于11月20日发布药物化学推理基准MedChemBench,含99道题、取自117篇论文与专利、覆盖761个分子结构。GPT-6.2 Astra在xhigh推理档下获84.5%可用分数居首,但化合物筛选与数值性质预测仍是模型短板。
OpenAI于当地时间11月20日推出面向药物化学研究的评测基准MedChemBench,目标在于衡量AI模型在该领域的推理能力,考察范围覆盖分子结构识别、实验结果解读、化合物比较以及性质预测等环节。
据官方介绍,该基准共设99道题目,素材取自117篇论文与专利,涉及761个不同分子结构。多数题面会向模型提供研究推进至某一节点时的上下文,包括生物靶点、研究人员目标、此前研究过的化合物以及部分实验结果,以此还原真实的研发决策场景。
评测被划分为四个部分:分子结构环节要求模型依据结构图与化学基团组装分子,检验原子连接与立体化学是否正确;科学解释环节要求解释由给定证据支撑,例如说明在若干化合物中为何选中某一个;排序与选择环节考察化合物排序及最终选择是否符合题目要求;性质预测环节则比对原始材料给出的数值与类别,涵盖实测与计算得到的分子性质。
成绩方面,在xhigh推理档下,GPT-6.2 Astra获得84.5%的可用分数,GPT-6 Astra为83.3%,GPT-6.1 Sol为82.0%,GPT-5.6 Sol则为58.2%。OpenAI表示,提高推理档位能够带来分数提升,但模型之间的差距依然明显。官方同时指出,模型在重建分子结构和解释实验依据方面表现较强,而在化合物筛选与数值性质预测上仍有明显的提升空间。
对AI制药方向而言,这一基准把评测重心从通用能力转向研发链条中的具体判断环节,其分项结果也为模型在化学推理上的能力边界提供了可对照的参照。