阿里千问推出QwenGyre,专攻超长程智能体在线强化学习
摘要
阿里千问发布在线强化学习框架QwenGyre,面向持续数小时、数百轮交互的超长程智能体任务。该框架通过弹性调度与轨迹树技术提升训练效率,在NL2RepoBench实验中48步训练后通过率从52.5%升至58.5%,相同GPU预算下较Async实现1.78倍端到端加速。
10月12日,阿里千问正式对外发布QwenGyre,一个专为长程智能体任务设计的在线强化学习框架。官方指出,当智能体执行复杂工作时,单次运行可能持续数小时,模型与环境之间产生数百轮相互依赖的交互,累计处理token量达到百万级。QwenGyre的目标是让这类超长程任务成为有效的训练来源,同时兼顾能力与效率的提升。
在调度机制上,QwenGyre将GPU划分为多个计算单元。每当一批任务结束,空出的单元便转入训练环节,仍在运行的任务则不受干扰,进度、状态乃至已计算的缓存均原地保留,无需重新开始。新释放的单元直接加入当前轮训练,计算速度快的单元承担更多工作,最终由核心单元汇总结果并完成一次参数更新。
在轨迹处理方面,QwenGyre借助Token-in Token-out方式记录每段输出生成时的真实上下文,按共享前缀组织成轨迹树,仅将选中的路径展开为训练样本。对于超时但部分完成的任务,框架通过Partial Scoring提供有效反馈,避免浪费任何一步计算。
性能数据方面,官方在NL2RepoBench在线强化学习实验中,以每次rollout约70万token的任务进行训练。48步训练后,模型通过率从52.5%提升至58.5%。在相同GPU预算下,QwenGyre相比Async实现1.78倍的端到端加速。
本文由新大陆基于公开信息编辑整理
信息来源:IT之家 IT之家原文 ↗