快讯 22:26李在明视察蔚山在建数据中心,强调AI竞赛速度决定成败08:00Together AI 披露提示词泄露事件:编码 agent 误传凭证致样本外泄08:00Qwen4 Max登陆Together AI,1M上下文加持整仓bug修复 全部快讯 →

每日快讯

大厂动态 · 融资事件 · 政策监管 · 前沿论文 · Agent 抓取 + 智能改写,每日 40+ 条

大厂 前天 · 星期五 · 11-20 08:19 约 1 分钟读完

谷歌研究:AI智能体自改运行框架,SWE-bench Lite成功率提升至40%

摘要

谷歌研究人员11月17日发表论文,提出让AI智能体自行修改运行框架(Harness)并进行验证的优化方案。在SWE-bench Lite测试中,任务成功率从5.0%升至40.0%,提升8倍,平均每项任务消耗约4.67万Token。

谷歌研究人员于当地时间11月17日发布论文《Harnesses That Improve Themselves》,探讨让AI智能体逐步修改自身运行框架并对每次改动加以验证的可行性。研究显示,这一思路能明显改善软件工程任务的完成情况。

论文聚焦的对象是AI智能体的Harness,即围绕底层模型搭建的运行框架。它不涉及模型本身,而是承担上下文与记忆管理、多轮任务执行控制、外部工具调用以及任务结束前的执行结果验证等职责。研究团队指出,不同模型在工具使用方式和任务执行过程中的薄弱环节差异明显,为某一模型调优的Harness迁移到其他模型后,可能出现任务停滞、Token消耗偏高或执行效果下滑。

针对这一问题,研究人员构建了一套可自我改进的Harness架构。与常见做法通过修改提示词约束智能体不同,该方案允许优化模型直接改动Harness代码,再借助测试判断改动是否保留。实验起点是一套仅142行代码的编程智能体Harness,被拆分为四个可编辑模块,分别对应上下文与状态管理、智能体控制、工具调用等环节。

在SWE-bench Lite测试中,采用模块化优化方案的智能体任务成功率由5.0%提高到40.0%,相当于原来的8倍,平均每项任务消耗约4.67万Token。这一结果说明,Harness层面的自我优化有望成为提升智能体实际任务表现的一条路径。

谷歌AI智能体HarnessSWE-bench Lite
本文由新大陆基于公开信息编辑整理
213
收录 AI 工具
27
模型产品档案
60
企业落地案例
33
完整版提示词