谷歌携Artificial Analysis发布MKA基准,Gemini 4 Carbon成本优势显著
谷歌联合Artificial Analysis推出多模态知识智能体基准MKA,覆盖10个行业83种职业的200项任务。Gemini 4 Carbon位列第二,平均任务成本仅为第一名约六分之一,凸显多模态知识工作的评测与成本维度。
谷歌于当地时间11月10日宣布,与AI模型评测机构Artificial Analysis共同推出多模态知识智能体基准测试MKA(Multimodal Knowledge Agent),目标指向AI智能体在视觉复杂文件与真实知识工作任务中的表现评估。该基准的发布,意味着知识工作类评测开始从纯文本场景向多模态专业场景延伸。
据谷歌DeepMind高级产品经理Rohan Doshi和首席工程师Ben Caine介绍,现有不少知识工作基准仅依赖文本即可完成,而现实工作常涉及大量视觉信息:建筑师需交叉核对建筑蓝图,工程师需分析工程示意图,专业人员还需将多来源信息整理为演示文稿、报告与电子表格。MKA正是为评估智能体在这些复杂场景中的能力而设计。
在评测集构建上,谷歌与来自10个行业、83种职业的领域专家合作,建立了包含200项任务的评测集,覆盖商业、建筑、教育、工程、金融、医疗、法律与政府、物流与地图、科学以及软件与数据等领域。每项任务模拟一个多步骤专业项目,包含真实工作提示词与一组多模态输入文件,通常需要经验丰富的专业人员花费3至8小时完成,并配有专家编写的评分标准。
谷歌表示,其最新发布的Gemini 4 Carbon在MKA测试中取得参测模型第二名,完成任务的平均成本约为排名第一模型的六分之一。这一结果将评测焦点同时引向能力表现与任务成本两个维度,为多模态知识智能体的落地评估提供了新的参照。