Artificial Analysis 于 10 月 29 日发布 Intelligence Index v5,这是该指数自 2026 年 1 月 v4 上线以来改动幅度最大的一次重构。新版最直接的变化在于评测口径:60% 的权重首次建立在私有测试集或隐藏答案之上,目的是压缩公开题库被模型训练数据污染的空间,同时削减为跑分而设的注水项目。
指数仍由九项评测构成,知识工作、编码、科学、通用能力各占 25%。编码维度的 25% 权重中,Cognition 同日发布的 FrontierCode 2.0 独占 15%,Terminal-Bench 4.0 占 10%。这意味着编码能力的评价重心向新基准倾斜。
FrontierCode 2.0 的评分逻辑完全更换。132 项任务全部取自真实开源仓库,模型提交的代码改动不再仅以单元测试是否通过判定,而由仓库维护者按“是否愿意合并这个 PR”打分,任何一项阻塞性检查失败即记零分。Cognition 在 6 月推出初版时曾指出,传统基准只检查代码能否跑通,而合并决策还涉及改动范围是否克制、风格是否与代码库一致、回归风险是否可控等测试难以覆盖的维度。
v5 将 FrontierCode 升级至 2.0 并纳入主指数,等于把“可合并性”而非“可运行性”推到编码能力评价的中心。在这一口径下,DeepSeek V4.1 Flash 1017 取得 FrontierCode 2.0 开源模型的最高成绩。