斯坦福发布三项医疗AI基准,顶尖模型任务完成率不足半数
摘要
斯坦福HAI发布MedHELM、PhysicianBench与HealthAdminBench三项医疗AI基准,覆盖121项临床任务。测试显示,GPT-5.5在PhysicianBench单次任务完成率仅46%,Claude Opus 4.6在HealthAdminBench为36.3%,失败主因是跨文档传递信息时丢失上下文。
斯坦福HAI团队近日集中发布三项医疗AI基准测试成果,分别为MedHELM、PhysicianBench与HealthAdminBench,这是该团队三年构建医疗AI评测体系工作的阶段性总结。三项基准均以合成数据构建,代码与排行榜对外公开。
从评测规模看,MedHELM覆盖5大类共121项临床任务,是三项基准中任务面最广的一项。评测结果显示,临床决策支持与管理流程两类任务的得分最低,反映出当前模型在需要多环节协作的医疗场景中仍存在明显短板。
具体到单项基准,PhysicianBench上表现最佳的模型为GPT-5.5,单次任务完成率为46%;HealthAdminBench上Claude Opus 4.6的完成率为36.3%。两项数据均表明,即便当前顶尖模型,在医疗Agent场景下的实际任务完成能力尚不足一半。
对于失败原因,评测将其主要归因于跨文档与跨系统传递信息时的上下文丢失。这一发现指向医疗AI落地的关键瓶颈:模型在单一环节的表现与在多系统串联流程中的可靠性之间存在差距。随着三项基准的公开,医疗AI Agent的能力评估有了可复现的对照口径。
本文由新大陆基于公开信息编辑整理
信息来源:AIHOT AIHOT原文 ↗