快讯 23:02Anthropic三季度营收近170亿美元同比增11倍,IPO进程加速推进23:00OpenAI启动Grid Protectors计划,首站落地Georgia校园参与电网削峰11:28同构实验室总裁预测所有药物终将由AI设计,公司估值或达400亿美元 全部快讯 →

每日快讯

大厂动态 · 融资事件 · 政策监管 · 前沿论文 · Agent 抓取 + 智能改写,每日 40+ 条

论文 今天 · 星期二 · 11-03 09:54 约 1 分钟读完

OpenAI推出LifeVal基准,衡量AI处理日常事务的实际能力

摘要

OpenAI于11月2日发布LifeVal基准,基于对3995名受访者的调查,覆盖照护、健康、教育、财务等日常场景,测试AI能否将任务推进到可执行状态。公开示例显示部分任务得分超90%,该基准已用于追踪模型日常任务表现一年。

OpenAI于11月2日对外发布了一项名为LifeVal的新基准,目标在于评估AI模型能否切实帮助普通人处理日常事务。该公司表示,这一评估体系的设立是为了让通用AI更贴近对用户最具实用价值的日常协助场景。

在任务设计上,OpenAI首先参考了美国'美国人时间使用调查'及跨国'多国时间使用调查'的数据,随后对3995名具有人口代表性的受访者展开调查,了解他们最希望个人AI助手在哪些事务上提供帮助。基于这些调研,LifeVal覆盖照护、健康、教育、家庭行政、个人财务、购物以及获取政府服务等场景,典型任务包括搬家后为孩子挑选并报名幼儿园、为患糖尿病的家人制定饮食与照护计划、在预算内采购食材、整理政府表格以及安排社区防洪志愿者等。

与传统基准的差异在于,LifeVal更看重任务能否被推进到可执行、可交付的状态。以幼儿园选择为例,AI不能只罗列名单,还需结合地点、预算、通勤和家庭需求进行筛选;处理财务问题时,则要兼顾账单、收入和风险。OpenAI指出,完成这类任务可能要求模型理解聊天记录、浏览网页、整合多方信息,并给出契合个人处境的建议。

OpenAI透露,过去一年已将LifeVal用于追踪和推动模型在日常任务上的改进。公开示例显示,部分任务表现较高:为孩子找幼儿园得分93.1%,组织防洪志愿者为98.0%,为糖尿病家长准备膳食计划为90.4%。

OpenAILifeValAI基准日常任务
本文由新大陆基于公开信息编辑整理
213
收录 AI 工具
23
模型产品档案
60
企业落地案例
27
完整版提示词