METR研究:调查型智能体可区分对齐与能力评测,识别能力一年持续提升
摘要
METR发布研究笔记,用调查型智能体在19个对齐评测和36个能力评测中探测环境。结果显示,智能体区分两类评测的能力过去一年持续提升,Opus 5.5在其数据集上把所有对齐评测排在所有能力评测之上。
对齐评测的设计是否经得起模型自身的审视,正在成为一个可测量的问题。METR发布的一份研究笔记给出了新的观测方法:让调查型智能体在评测环境中主动探测,以此判断模型能否识别出自己正处于对齐评测之中。
该实验覆盖19个对齐评测和36个能力评测。结果显示,智能体区分这两类评测的能力在过去一年里持续提升,说明模型对评测语境的感知并非静止不变,而是随能力演进而增强。
在METR的数据集上,Opus 5.5的表现尤为突出——它把所有对齐评测都排在所有能力评测之上,即完全区分开了两类环境。研究指出,模型做出这种判断的依据包括环境看起来像模拟的蜜罐等线索。
作者将对齐线索划分为环境级和任务级两类,并认为这一发现可用于迭代改进对齐评测的设计,使评测环境更难被模型提前识别。
本文由新大陆基于公开信息编辑整理
信息来源:AIHOT AIHOT原文 ↗