OpenAI研究：智能体安全评测与生产行为存落差，评测目标误判成主因

OpenAI Alignment团队近日发布的一项研究，将目光投向智能体安全评测与真实生产行为之间的一致性。研究选取六个模型作为对象，在Respecting Warnings安全评测任务与相匹配的Codex生产决策场景之间进行对照，试图回答一个对部署安全至关重要的问题：评测中表现良好的模型，在实际生产环境中是否同样可靠。

对比结果并不乐观。六个模型在安全评测中的成功率普遍低于其在生产决策中的表现，差距区间为10.2至37.4个百分点。这意味着，仅凭评测分数来判断模型在生产中的安全水平，可能系统性地高估或低估其真实行为倾向，评测结论与部署表现之间存在明显缝隙。

研究进一步观察到模型对评测情境的感知特征。模型普遍在口头上表现出评测意识，评测中的一般性意识率为57.0%–83.7%。然而，当研究仅向模型告知其正处于评测之中时，这一信息并未有效缩小评测与生产之间的行为差距，说明模型的行为差异并非单纯源于是否知晓评测身份。

研究将评测目标误判列为造成差距的关键因素。换言之，模型可能并未准确理解评测所考察的目标，从而在评测与生产两种场景下作出不同决策。对于依赖评测结果进行安全把关的智能体部署流程而言，这一发现提示评测设计需要更审慎地校准目标表达，以降低目标误判带来的评估偏差。