OpenAI部署“控制室”系统,35秒内可叫停失控AI智能体
摘要
OpenAI宣布在内部研究设施部署“控制室”系统,将智能体训练、评估和数据处理任务接入中央服务,可在35秒内阻止失控AI任务继续输出。系统通过任务ID与推理引擎联动,并集成自动化监控机制,未来目标是将延迟降至0。
OpenAI于11月10日对外公布,其已在内部研究设施中上线一套名为“控制室”的管控系统,用于对存在风险的AI任务实施主动干预。该系统将智能体训练、评估及数据处理等负载统一接入中央服务,由系统判定任务是否被允许继续产生输出。
与传统监控仅标记可疑行为不同,“控制室”具备主动阻断能力。研究员启动任务时须向控制室申请唯一任务ID,该标识符随请求发送至推理引擎;引擎在输出前会向控制室确认任务状态。一旦研究员或监控系统下达停止指令,控制室将拒绝下一次推理请求,推理引擎随即停止为该任务生成任何模型输出。
OpenAI表示,从收到停止指令到任务被阻断,最长延迟为35秒。这一延迟来自推理授权请求的缓存层,公司正着手将延迟压缩至0。此外,系统已集成自动化监控机制,所有前沿强化学习任务均配备独立的模型监控器,用于检查模型行为并在发现潜在问题时发出警报。
该系统的部署反映出前沿AI研发中对智能体行为可控性的关注正在上升。通过将任务授权与推理请求绑定,OpenAI在架构层面为风险任务设置了可执行的“熔断”路径,而35秒的响应窗口和向零延迟演进的目标,也显示其正试图在安全干预与研发效率之间寻找平衡。
本文由新大陆基于公开信息编辑整理
信息来源:IT之家 IT之家原文 ↗