谷歌研究:AI智能体自改运行框架,SWE-bench Lite成功率提升至40%
摘要
谷歌研究人员11月17日发表论文,提出让AI智能体自行修改运行框架(Harness)并进行验证的优化方案。在SWE-bench Lite测试中,任务成功率从5.0%升至40.0%,提升8倍,平均每项任务消耗约4.67万Token。
谷歌研究人员于当地时间11月17日发布论文《Harnesses That Improve Themselves》,探讨让AI智能体逐步修改自身运行框架并对每次改动加以验证的可行性。研究显示,这一思路能明显改善软件工程任务的完成情况。
论文聚焦的对象是AI智能体的Harness,即围绕底层模型搭建的运行框架。它不涉及模型本身,而是承担上下文与记忆管理、多轮任务执行控制、外部工具调用以及任务结束前的执行结果验证等职责。研究团队指出,不同模型在工具使用方式和任务执行过程中的薄弱环节差异明显,为某一模型调优的Harness迁移到其他模型后,可能出现任务停滞、Token消耗偏高或执行效果下滑。
针对这一问题,研究人员构建了一套可自我改进的Harness架构。与常见做法通过修改提示词约束智能体不同,该方案允许优化模型直接改动Harness代码,再借助测试判断改动是否保留。实验起点是一套仅142行代码的编程智能体Harness,被拆分为四个可编辑模块,分别对应上下文与状态管理、智能体控制、工具调用等环节。
在SWE-bench Lite测试中,采用模块化优化方案的智能体任务成功率由5.0%提高到40.0%,相当于原来的8倍,平均每项任务消耗约4.67万Token。这一结果说明,Harness层面的自我优化有望成为提升智能体实际任务表现的一条路径。
本文由新大陆基于公开信息编辑整理
信息来源:IT之家 IT之家原文 ↗