OpenAI 部署激活分类器 为前沿模型加装实时安全监控层
摘要
OpenAI 自 GPT-5.6 起在最强模型的内部与外部流量上部署激活分类器,逐 token 实时评分,可在生成中途阻断违规回复与工具调用并交由推理模型复审。实验显示其越狱鲁棒性优于更大的文本分类器,准确率随模型能力提升,但需为新基础模型重新训练。
OpenAI 正在把安全防线从输出端前移到模型内部。据披露,自 GPT-5.6 起,该公司在其最强模型的内部和外部流量上部署了激活分类器(probes),直接读取模型内部激活状态进行逐 token 实时评分,而非等到完整回复生成后再做筛查。
这一机制的关键在于拦截时机。当评分识别出违规倾向时,系统可以在生成过程中途切断回复或工具调用,并将相关请求交由推理模型复审,从而在风险内容落地前完成处置。
在对抗越狱攻击的实验中,probes 表现出比规模更大的文本分类器更强的鲁棒性。其准确率随模型能力提升而上升,且在后训练各检查点之间迁移良好,意味着一次训练成果可在多个阶段复用。
不过该方案存在明确边界:每引入一个新的基础模型,probes 都需要重新训练;同时它只能检测那些可以被显式训练的已知违规类型,对未知风险的覆盖能力有限。对行业而言,这提供了一条将安全监控嵌入模型内部激活层面的可参考路径。
本文由新大陆基于公开信息编辑整理
信息来源:AIHOT AIHOT原文 ↗