随着大语言模型被越来越多地引入科研工作流，一个现实问题浮出水面：模型能否胜任对研究想法新颖性的评判？Ai2 近日围绕这一问题发布了名为 Old Ideas, Novel Problems 的研究，并同步开放了配套的 benchmark、数据集、代码以及自动化流水线。

该研究的核心设计，是把 LLM 置于“新颖性裁判”的位置上进行可靠性检验。换言之，它关注的不是模型能否生成想法，而是模型在评估他人研究想法是否具备新意时，给出的判断是否值得信任。

从 Ai2 公布的结果看，答案并不乐观：LLM 在这一任务上的表现并不稳定。这意味着，若将大模型直接用于科研评审、选题筛选等需要判断创新性的环节，其结论可能存在波动，难以作为可靠依据。

此次一并释出的 benchmark、数据、代码与自动化流水线，为后续研究提供了可复用的评测基础。对于正在探索 LLM 辅助科研评审的团队而言，这项研究提示了一个需要正视的前提：在新颖性判断这类高度依赖专业判断的环节，模型能力仍有明显边界。