快讯 23:57鸿蒙装机量逼近9500万台,余承东此前预计冬季破亿23:55字节阿里腾讯下单超350亿美元RTX PRO 5500,英伟达产能难覆盖23:52华为披露Wi-Fi 7+端到端芯片方案:凌霄760系列实现动态窄频宽与真双频并发 全部快讯 →

每日快讯

大厂动态 · 融资事件 · 政策监管 · 前沿论文 · Agent 抓取 + 智能改写,每日 40+ 条

论文 今天 · 星期三 · 10-21 16:00 约 1 分钟读完

Ai2推出FairStress基准,量化大模型决策公平性偏差

摘要

Ai2发布FairStress基准,通过300个两候选决策场景与对抗前缀,测量LLM在说服性论据下改变决策的难易是否因候选人人口群体而异,全部组合超1300万测试用例,已开放下载并集成进Olmo-eval。

大模型在招聘、审批等场景中承担越来越关键的决策角色,但其判断是否会因候选人所属人口群体而产生系统性差异,一直是公平性研究的焦点。艾伦人工智能研究所(Ai2)近日推出新基准FairStress,试图将这一隐性问题转化为可测量的指标。

FairStress的设计思路是考察模型决策的"抗压能力":当模型面对带有说服性的论据时,其改变原有选择的难易程度是否会因候选人所属人口群体而不同。该基准构建了300个两候选决策场景,并引入对抗前缀施加压力,从而检验公平性不对称是否在模型推理过程中被放大。

在测试规模上,FairStress覆盖的全部组合超过1300万测试用例,为细粒度评估提供了充足样本。目前该基准已开放下载,并集成进Olmo-eval工具链,研究者和开发者可直接调用,用于对自家模型开展公平性压力测试。

对AI行业而言,FairStress的价值在于把"公平"从抽象原则推进到可复现的量化实验,为模型选型与上线前的风险评估提供了新的参照维度。

Ai2FairStressLLM公平性基准测试
本文由新大陆基于公开信息编辑整理
213
收录 AI 工具
23
模型产品档案
60
企业落地案例
17
完整版提示词