Gemini 4 Argon 在 ARC-AGI-3 评测得分 97.5%,成第二家突破 95% 的实验室
ARC Prize 公布 Gemini 4 Argon 在 ARC-AGI (Verified) 的评测结果:ARC-AGI-3 上 provider adapter harness 得分 97.5%、成本 4.8K 美元,标准 harness 得分 49.8%、成本 5.8K 美元;ARC-AGI-2 得分 91.3%,ARC-AGI-1 得分 98.5%。Google DeepMind 由此成为第二家在 ARC-AGI-3 上超过 95% 的前沿 AI 实验室。
ARC Prize 近日公开了 Gemini 4 Argon 在 ARC-AGI (Verified) 基准上的完整评测数据,涵盖 ARC-AGI-1、ARC-AGI-2 与 ARC-AGI-3 三个版本。ARC-AGI 系列由 ARC Prize 维护,主要用于衡量 AI 系统在抽象推理与泛化任务上的能力表现。
在最受关注的 ARC-AGI-3 上,Gemini 4 Argon 采用 provider adapter harness 取得 97.5% 的得分,对应成本为 4.8K 美元;同一模型在标准 harness 下得分仅为 49.8%,成本为 5.8K 美元。两种 harness 配置之间的显著分差,成为本次评测数据中最值得注意的细节之一。
在较早版本的基准上,Gemini 4 Argon 同样给出了较高成绩:ARC-AGI-2 得分 91.3%,单任务成本 0.32 美元;ARC-AGI-1 得分 98.5%,单任务成本 0.16 美元。随着任务版本推进,单位成本明显上升。
ARC Prize 在公布结果时指出,Google DeepMind 是第二家在 ARC-AGI-3 上得分超过 95% 的前沿 AI 实验室。这一结果意味着头部实验室在 ARC-AGI-3 这一最新基准上的竞争已进入新的阶段。