Epoch AI 以内部真实任务评测前沿模型,Claude 与 GPT 平均仅得 65%
摘要
Epoch AI 推出 Epoch Automation Reports,用机构内部图表设计、研究规划等真实任务,按人类员工标准评测前沿模型。Claude Fable 5.1 与 GPT-6 Astra 平均得分 65%,未达到 100% 的可自动化门槛。
AI 能力评测正在从标准化题库转向更贴近实际工作的场景。Epoch AI 近日发布 Epoch Automation Reports,尝试以机构内部真实任务作为评测对象,衡量前沿模型在职场环境中的可用程度。
该评测选取的任务包括图表设计与研究规划等日常业务内容,并采用与人类员工一致的评估标准进行打分。换言之,模型需要完成的是机构内部实际交付的工作,而非专门设计的测试题目。
结果显示,当前领先的 Claude Fable 5.1 与 GPT-6 Astra 平均得分为 65%。这一数字尚未触及 100% 的可自动化门槛,意味着在上述任务中,模型仍无法完全替代人类员工独立完成交付。
Epoch AI 将 100% 设定为可自动化门槛,为判断模型能否接管特定岗位工作提供了量化参照。65% 的平均成绩表明,前沿模型在真实工作流中已具备一定完成度,但距离全自动执行仍有明显差距。
本文由新大陆基于公开信息编辑整理
信息来源:AIHOT AIHOT原文 ↗