快讯 23:02Anthropic三季度营收近170亿美元同比增11倍,IPO进程加速推进23:00OpenAI启动Grid Protectors计划,首站落地Georgia校园参与电网削峰08:00Anthropic 推出 message threads 公测,智能体长会话首 token 延迟有望缩短 全部快讯 →

每日快讯

大厂动态 · 融资事件 · 政策监管 · 前沿论文 · Agent 抓取 + 智能改写,每日 40+ 条

论文 今天 · 星期二 · 11-03 04:00 约 1 分钟读完

OpenAI 部署激活分类器 为前沿模型加装实时安全监控层

摘要

OpenAI 自 GPT-5.6 起在最强模型的内部与外部流量上部署激活分类器,逐 token 实时评分,可在生成中途阻断违规回复与工具调用并交由推理模型复审。实验显示其越狱鲁棒性优于更大的文本分类器,准确率随模型能力提升,但需为新基础模型重新训练。

OpenAI 正在把安全防线从输出端前移到模型内部。据披露,自 GPT-5.6 起,该公司在其最强模型的内部和外部流量上部署了激活分类器(probes),直接读取模型内部激活状态进行逐 token 实时评分,而非等到完整回复生成后再做筛查。

这一机制的关键在于拦截时机。当评分识别出违规倾向时,系统可以在生成过程中途切断回复或工具调用,并将相关请求交由推理模型复审,从而在风险内容落地前完成处置。

在对抗越狱攻击的实验中,probes 表现出比规模更大的文本分类器更强的鲁棒性。其准确率随模型能力提升而上升,且在后训练各检查点之间迁移良好,意味着一次训练成果可在多个阶段复用。

不过该方案存在明确边界:每引入一个新的基础模型,probes 都需要重新训练;同时它只能检测那些可以被显式训练的已知违规类型,对未知风险的覆盖能力有限。对行业而言,这提供了一条将安全监控嵌入模型内部激活层面的可参考路径。

OpenAIAI安全激活分类器越狱攻击
本文由新大陆基于公开信息编辑整理
213
收录 AI 工具
23
模型产品档案
60
企业落地案例
27
完整版提示词