快讯 23:30Meta提出瘦编排器模式:1300行代码调度14个子智能体23:05美国土安全部发布命令,联邦文职机构须停用并移除DeepSeek相关产品23:03谷歌四智能体自主通关《我的世界》,耗时27小时击败末影龙 全部快讯 →

每日快讯

大厂动态 · 融资事件 · 政策监管 · 前沿论文 · Agent 抓取 + 智能改写,每日 40+ 条

大厂 今天 · 星期二 · 10-20 00:00 约 1 分钟读完

斯坦福发布三项医疗AI基准,顶尖模型任务完成率不足半数

摘要

斯坦福HAI发布MedHELM、PhysicianBench与HealthAdminBench三项医疗AI基准,覆盖121项临床任务。测试显示,GPT-5.5在PhysicianBench单次任务完成率仅46%,Claude Opus 4.6在HealthAdminBench为36.3%,失败主因是跨文档传递信息时丢失上下文。

斯坦福HAI团队近日集中发布三项医疗AI基准测试成果,分别为MedHELM、PhysicianBench与HealthAdminBench,这是该团队三年构建医疗AI评测体系工作的阶段性总结。三项基准均以合成数据构建,代码与排行榜对外公开。

从评测规模看,MedHELM覆盖5大类共121项临床任务,是三项基准中任务面最广的一项。评测结果显示,临床决策支持与管理流程两类任务的得分最低,反映出当前模型在需要多环节协作的医疗场景中仍存在明显短板。

具体到单项基准,PhysicianBench上表现最佳的模型为GPT-5.5,单次任务完成率为46%;HealthAdminBench上Claude Opus 4.6的完成率为36.3%。两项数据均表明,即便当前顶尖模型,在医疗Agent场景下的实际任务完成能力尚不足一半。

对于失败原因,评测将其主要归因于跨文档与跨系统传递信息时的上下文丢失。这一发现指向医疗AI落地的关键瓶颈:模型在单一环节的表现与在多系统串联流程中的可靠性之间存在差距。随着三项基准的公开,医疗AI Agent的能力评估有了可复现的对照口径。

斯坦福HAI医疗AI基准测试AI Agent
本文由新大陆基于公开信息编辑整理
213
收录 AI 工具
23
模型产品档案
60
企业落地案例
16
完整版提示词