OpenAI推出LifeVal基准,衡量AI处理日常事务的实际能力
摘要
OpenAI于11月2日发布LifeVal基准,基于对3995名受访者的调查,覆盖照护、健康、教育、财务等日常场景,测试AI能否将任务推进到可执行状态。公开示例显示部分任务得分超90%,该基准已用于追踪模型日常任务表现一年。
OpenAI于11月2日对外发布了一项名为LifeVal的新基准,目标在于评估AI模型能否切实帮助普通人处理日常事务。该公司表示,这一评估体系的设立是为了让通用AI更贴近对用户最具实用价值的日常协助场景。
在任务设计上,OpenAI首先参考了美国'美国人时间使用调查'及跨国'多国时间使用调查'的数据,随后对3995名具有人口代表性的受访者展开调查,了解他们最希望个人AI助手在哪些事务上提供帮助。基于这些调研,LifeVal覆盖照护、健康、教育、家庭行政、个人财务、购物以及获取政府服务等场景,典型任务包括搬家后为孩子挑选并报名幼儿园、为患糖尿病的家人制定饮食与照护计划、在预算内采购食材、整理政府表格以及安排社区防洪志愿者等。
与传统基准的差异在于,LifeVal更看重任务能否被推进到可执行、可交付的状态。以幼儿园选择为例,AI不能只罗列名单,还需结合地点、预算、通勤和家庭需求进行筛选;处理财务问题时,则要兼顾账单、收入和风险。OpenAI指出,完成这类任务可能要求模型理解聊天记录、浏览网页、整合多方信息,并给出契合个人处境的建议。
OpenAI透露,过去一年已将LifeVal用于追踪和推动模型在日常任务上的改进。公开示例显示,部分任务表现较高:为孩子找幼儿园得分93.1%,组织防洪志愿者为98.0%,为糖尿病家长准备膳食计划为90.4%。
本文由新大陆基于公开信息编辑整理
信息来源:IT之家 IT之家原文 ↗