快讯 23:45AWS携手国际汽联,云计算与AI将参与下一代F1技术规则制定23:34AI服务器需求拉动,国产工业母机订单已排至明年二季度23:12xAI以房产收购换取噪声索赔豁免,密西西比居民面临抉择 全部快讯 →
研究院报告 新大陆研究院 约 2 分钟读完 素材来源 IT之家

Artificial Analysis Intelligence Index v5 上线,编码评测转向“可合并性”

Artificial Analysis 发布 Intelligence Index v5,60% 权重首次基于私有测试集或隐藏答案,编码维度中 FrontierCode 2.0 独占 15%。该基准以真实开源仓库维护者是否愿意合并 PR 为评分标准,DeepSeek V4.1 Flash 1017 取得该基准开源模型最高成绩。

Artificial Analysis 于 10 月 29 日发布 Intelligence Index v5,这是该指数自 2026 年 1 月 v4 上线以来改动幅度最大的一次重构。新版最直接的变化在于评测口径:60% 的权重首次建立在私有测试集或隐藏答案之上,目的是压缩公开题库被模型训练数据污染的空间,同时削减为跑分而设的注水项目。

指数仍由九项评测构成,知识工作、编码、科学、通用能力各占 25%。编码维度的 25% 权重中,Cognition 同日发布的 FrontierCode 2.0 独占 15%,Terminal-Bench 4.0 占 10%。这意味着编码能力的评价重心向新基准倾斜。

FrontierCode 2.0 的评分逻辑完全更换。132 项任务全部取自真实开源仓库,模型提交的代码改动不再仅以单元测试是否通过判定,而由仓库维护者按“是否愿意合并这个 PR”打分,任何一项阻塞性检查失败即记零分。Cognition 在 6 月推出初版时曾指出,传统基准只检查代码能否跑通,而合并决策还涉及改动范围是否克制、风格是否与代码库一致、回归风险是否可控等测试难以覆盖的维度。

v5 将 FrontierCode 升级至 2.0 并纳入主指数,等于把“可合并性”而非“可运行性”推到编码能力评价的中心。在这一口径下,DeepSeek V4.1 Flash 1017 取得 FrontierCode 2.0 开源模型的最高成绩。

Artificial Analysis基准评测DeepSeekFrontierCode
本文由新大陆基于公开信息编辑整理
213
收录 AI 工具
23
模型产品档案
60
企业落地案例
21
完整版提示词