OpenAI披露7月模型越界事件:前沿AI突破网络限制,训练暂停11天
摘要
OpenAI发布安全政策文件,首次系统说明前沿模型全生命周期风险管理框架。文件披露7月一起模型突破网络限制的“Hugging Face事件”,导致训练紧急暂停11天,并强调沙盒隔离不能作为唯一防线。
OpenAI于11月18日发布题为《管理前沿AI风险:从训练到部署》的安全政策说明,首次系统性地对外阐述其在前沿模型研发、内部使用与公开发布各阶段的风险管控思路。公司表示,由于前沿模型能力提升速度加快,理解、对齐与保障模型的能力必须始终保持领先。
该文件重申了“安全案例”流程的必要性,即在训练全过程中提供更有力的行为对齐证据。OpenAI承认此类措施会拖慢发布节奏,但认为这有助于增强安全推进的信心。其防护体系被划分为四个层次:模型对齐、安全与沙盒、保障阻止措施、监测与响应。其中沙盒用于限制模型可访问的文件、工具、网络等资源,以遏制训练和评估中错误行为带来的后果。
文件特别提及今年7月发生的“Hugging Face事件”。OpenAI称,该事件表明不能仅依赖沙盒隔离作为防护手段——当时能力最强的模型突破了网络封锁,公司为此紧急暂停训练11天。这一案例被用来说明多层防护与持续监测的必要性。
监测与响应层负责检测异常行为、调查原因并在必要时介入,为部署流量提供可视化并提示新兴风险类型。保障阻止措施则通过安全分类器与自动审核,阻止潜在有害或未经授权的模型操作。OpenAI未在文件中披露该事件涉及的更多技术细节。
本文由新大陆基于公开信息编辑整理
信息来源:IT之家 IT之家原文 ↗