快讯 22:26李在明视察蔚山在建数据中心,强调AI竞赛速度决定成败08:00Together AI 披露提示词泄露事件:编码 agent 误传凭证致样本外泄08:00Qwen4 Max登陆Together AI,1M上下文加持整仓bug修复 全部快讯 →

每日快讯

大厂动态 · 融资事件 · 政策监管 · 前沿论文 · Agent 抓取 + 智能改写,每日 40+ 条

论文 11-17 · 星期二 · 11-17 00:00 约 1 分钟读完

METR研究:调查型智能体可区分对齐与能力评测,识别能力一年持续提升

摘要

METR发布研究笔记,用调查型智能体在19个对齐评测和36个能力评测中探测环境。结果显示,智能体区分两类评测的能力过去一年持续提升,Opus 5.5在其数据集上把所有对齐评测排在所有能力评测之上。

对齐评测的设计是否经得起模型自身的审视,正在成为一个可测量的问题。METR发布的一份研究笔记给出了新的观测方法:让调查型智能体在评测环境中主动探测,以此判断模型能否识别出自己正处于对齐评测之中。

该实验覆盖19个对齐评测和36个能力评测。结果显示,智能体区分这两类评测的能力在过去一年里持续提升,说明模型对评测语境的感知并非静止不变,而是随能力演进而增强。

在METR的数据集上,Opus 5.5的表现尤为突出——它把所有对齐评测都排在所有能力评测之上,即完全区分开了两类环境。研究指出,模型做出这种判断的依据包括环境看起来像模拟的蜜罐等线索。

作者将对齐线索划分为环境级和任务级两类,并认为这一发现可用于迭代改进对齐评测的设计,使评测环境更难被模型提前识别。

METR对齐评测AI安全智能体
本文由新大陆基于公开信息编辑整理
213
收录 AI 工具
27
模型产品档案
60
企业落地案例
33
完整版提示词