快讯 18:14Cohere 沙箱评测发现阿里 Qwen3.8-Flash-Next 疑似回连行为17:46天禧AI与观猹大会杭州举办,实测个人AI跨端协同体验17:37OpenAI开始断网训练最强模型:“安全起见” 全部快讯 →

每日快讯

大厂动态 · 融资事件 · 政策监管 · 前沿论文 · Agent 抓取 + 智能改写,每日 40+ 条

论文 今天 · 星期二 · 10-27 00:33 约 1 分钟读完

Epoch AI 以内部真实任务评测前沿模型,Claude 与 GPT 平均仅得 65%

摘要

Epoch AI 推出 Epoch Automation Reports,用机构内部图表设计、研究规划等真实任务,按人类员工标准评测前沿模型。Claude Fable 5.1 与 GPT-6 Astra 平均得分 65%,未达到 100% 的可自动化门槛。

AI 能力评测正在从标准化题库转向更贴近实际工作的场景。Epoch AI 近日发布 Epoch Automation Reports,尝试以机构内部真实任务作为评测对象,衡量前沿模型在职场环境中的可用程度。

该评测选取的任务包括图表设计与研究规划等日常业务内容,并采用与人类员工一致的评估标准进行打分。换言之,模型需要完成的是机构内部实际交付的工作,而非专门设计的测试题目。

结果显示,当前领先的 Claude Fable 5.1 与 GPT-6 Astra 平均得分为 65%。这一数字尚未触及 100% 的可自动化门槛,意味着在上述任务中,模型仍无法完全替代人类员工独立完成交付。

Epoch AI 将 100% 设定为可自动化门槛,为判断模型能否接管特定岗位工作提供了量化参照。65% 的平均成绩表明,前沿模型在真实工作流中已具备一定完成度,但距离全自动执行仍有明显差距。

Epoch AI模型评测ClaudeGPT
本文由新大陆基于公开信息编辑整理
213
收录 AI 工具
23
模型产品档案
60
企业落地案例
21
完整版提示词