OpenAI 携手四家机构启动嵌入式评估,Goodfire 研究人员进驻开展模型取证
OpenAI 宣布与 Apollo Research、METR、Transluce 和 Goodfire 合作启动首阶段嵌入式评估项目。Goodfire 将派可解释性研究人员进驻 OpenAI,获内部模型深度访问权限,重点开展模型取证。此前 OpenAI 曾探讨以超 50 亿美元收购 Goodfire,最终未达成协议。
OpenAI 于 11 月 17 日公布了一项多方安全合作计划,合作方包括 Apollo Research、METR、Transluce 与 Goodfire,四方将共同参与首阶段嵌入式评估项目(Embedded Assessments),围绕模型可解释性与安全评估展开工作。这一安排的核心在于让独立专家在较长时间内深入接触实验室内部模型与系统,对模型对齐情况进行评估。
Goodfire 在合作中承担的角色最为具体。根据其发布的公告,该公司将派遣可解释性研究人员进驻 OpenAI,借助自有可解释性分析平台监测模型训练过程、排查非预期行为,并协助改善模型对齐与安全性。进驻人员将获得 OpenAI 内部模型和系统的深度访问权限,涵盖训练过程中的内部信号及相关技术资源。
此次合作聚焦模型取证(Model Forensics)。Goodfire 通过分析模型内部计算过程,监测训练期间出现的已知风险与异常行为,帮助 OpenAI 研究人员识别传统监控手段可能遗漏的问题。相关评估结果主要供 OpenAI 内部研究团队使用,以改进模型安全性;Goodfire 同时表示,随着合作推进,将逐步公开部分研究成果。
值得注意的是,双方的关系并非始于此次合作。《The Information》同日报道称,OpenAI 此前曾探讨以超过 50 亿美元收购 Goodfire 的方案,但最终未能达成收购协议。在收购未果的背景下,双方转而以嵌入式评估的形式建立合作,使 Goodfire 得以接触 OpenAI 内部系统。