OpenAI 签约四家独立机构,启动首阶段嵌入式安全评估
摘要
OpenAI 宣布与 Apollo Research、METR、Transluce、Goodfire 四家独立评估机构签署协议,启动首阶段嵌入式安全评估。评估方将获得模型 checkpoint、源码、训练数据与监控系统等内部资源,分别针对暗中违背开发者意图、内部可解释性、最大 RL 训练未对齐行为及后训练对齐评测质量覆盖展开审查。
OpenAI 在模型安全评估上引入外部独立力量。公司宣布已与四家独立评估机构——Apollo Research、METR、Transluce 和 Goodfire——签署协议,正式启动首阶段嵌入式安全评估。这一安排意味着评估工作不再停留于外部黑盒测试层面。
按照协议,参与评估的专家将获得模型 checkpoint、源码、训练数据和监控系统等内部资源。这类访问权限通常不向外部机构开放,此次开放范围覆盖了模型开发与训练链条的关键环节。
四家机构的分工各有侧重:Apollo Research 负责评估模型暗中违背开发者意图的可能性;Transluce 聚焦模型内部可解释性;METR 考察最大 RL 训练运行中的未对齐行为;Goodfire 则针对后训练对齐评测的质量覆盖情况展开审查。
从评估维度看,此次合作同时覆盖行为层面的意图偏离、机制层面的内部可解释性,以及训练流程中的对齐缺口,构成一套多角度的审查框架。首阶段评估的具体结论尚未公布。
本文由新大陆基于公开信息编辑整理
信息来源:AIHOT AIHOT原文 ↗