Anthropic推MAMUBench基准:单智能体协调四类多用户场景均优于独立团队
摘要
Anthropic Fellows Program团队构建共享API预算、诊所日历、团体订餐或旅行预订、合并队列四类多用户多智能体模拟环境,测试Anthropic、OpenAI和Alibaba的前沿模型,并将其中三个环境发布为基准MAMUBench。结果显示,单一智能体统一协调在四类环境中均胜过每个用户各自组建的智能体团队。
多用户场景下的智能体协作正成为评测的新焦点。Anthropic Fellows Program团队为此搭建了四个模拟环境,分别对应共享API token预算、诊所日历安排、团体订餐或旅行预订以及合并队列,用以考察多个用户各自拥有智能体时的协同表现。
测试覆盖了Anthropic、OpenAI和Alibaba三家的前沿模型。团队将上述四个环境中的三个对外发布,形成基准MAMUBench,为后续研究提供可复用的评测载体。
实验结果指向一个明确结论:由单一智能体统一协调,在四类环境中均优于每个用户各自组建智能体团队的做法。这一对比直接触及多智能体系统设计中的分工与集中协调之争。
MAMUBench的发布为多用户、多智能体场景提供了标准化测试条件,其结论也为实际部署中如何组织智能体提供了参考依据。
本文由新大陆基于公开信息编辑整理
信息来源:AIHOT AIHOT原文 ↗