快讯 22:26李在明视察蔚山在建数据中心,强调AI竞赛速度决定成败08:00Together AI 披露提示词泄露事件:编码 agent 误传凭证致样本外泄08:00Qwen4 Max登陆Together AI,1M上下文加持整仓bug修复 全部快讯 →

每日快讯

大厂动态 · 融资事件 · 政策监管 · 前沿论文 · Agent 抓取 + 智能改写,每日 40+ 条

大厂 11-17 · 星期二 · 11-17 16:00 约 1 分钟读完

OpenAI 签约四家独立机构,启动首阶段嵌入式安全评估

摘要

OpenAI 宣布与 Apollo Research、METR、Transluce、Goodfire 四家独立评估机构签署协议,启动首阶段嵌入式安全评估。评估方将获得模型 checkpoint、源码、训练数据与监控系统等内部资源,分别针对暗中违背开发者意图、内部可解释性、最大 RL 训练未对齐行为及后训练对齐评测质量覆盖展开审查。

OpenAI 在模型安全评估上引入外部独立力量。公司宣布已与四家独立评估机构——Apollo Research、METR、Transluce 和 Goodfire——签署协议,正式启动首阶段嵌入式安全评估。这一安排意味着评估工作不再停留于外部黑盒测试层面。

按照协议,参与评估的专家将获得模型 checkpoint、源码、训练数据和监控系统等内部资源。这类访问权限通常不向外部机构开放,此次开放范围覆盖了模型开发与训练链条的关键环节。

四家机构的分工各有侧重:Apollo Research 负责评估模型暗中违背开发者意图的可能性;Transluce 聚焦模型内部可解释性;METR 考察最大 RL 训练运行中的未对齐行为;Goodfire 则针对后训练对齐评测的质量覆盖情况展开审查。

从评估维度看,此次合作同时覆盖行为层面的意图偏离、机制层面的内部可解释性,以及训练流程中的对齐缺口,构成一套多角度的审查框架。首阶段评估的具体结论尚未公布。

OpenAIAI安全模型对齐独立评估
本文由新大陆基于公开信息编辑整理
213
收录 AI 工具
27
模型产品档案
60
企业落地案例
33
完整版提示词