OpenAI研究加速报告:智能体长时任务成功率翻倍,但能力分化明显
摘要
OpenAI发布第二份研究加速报告,基于内部测量披露编码智能体对AI研发周期的改变。3月至10月,预估需2-4小时的人工任务,智能体自主成功率从23%升至46%;4-8小时任务从13%升至35%。但任务间差异显著,监控训练成功率达79%,推理与服务栈编码仅25%。
OpenAI于近日发布第二份研究加速报告,聚焦编码智能体对AI研发周期的实际影响。该报告基于公司内部测量数据,试图量化智能体在真实研发场景中的自主执行能力。
数据显示,3月至10月期间,智能体在长时任务上的表现明显改善。对于预估需要2至4小时人工完成的任务,其自主成功率由23%提升至46%;4至8小时任务的成功率则从13%上升至35%。两项指标均实现约一倍增长,反映出智能体在持续执行复杂任务方面的进展。
不过,报告同时指出,不同任务类型之间的表现差距依然突出。监控训练类任务的智能体成功率达到79%,而推理与服务栈编码类任务仅为25%,两者相差超过50个百分点。这意味着智能体能力在不同研发环节上呈现明显的不均衡。
该报告以内部测量为基础,未披露样本规模与具体评估方法。从已公布的数据看,编码智能体在部分环节已具备较高的自主完成度,但在另一些环节仍存在显著短板,其对AI研发周期的整体重塑程度仍有待进一步观察。
本文由新大陆基于公开信息编辑整理
信息来源:AIHOT AIHOT原文 ↗