快讯 22:26李在明视察蔚山在建数据中心,强调AI竞赛速度决定成败08:00Together AI 披露提示词泄露事件:编码 agent 误传凭证致样本外泄08:00Qwen4 Max登陆Together AI,1M上下文加持整仓bug修复 全部快讯 →

每日快讯

大厂动态 · 融资事件 · 政策监管 · 前沿论文 · Agent 抓取 + 智能改写,每日 40+ 条

大厂 11-13 · 星期五 · 11-13 16:00 约 1 分钟读完

OpenAI公开自动化红队方法 提升GPT-6 Astra与Sol高风险领域鲁棒性

摘要

OpenAI研究团队披露针对GPT-6 Astra与Sol的自动化红队训练方案,聚焦网络、生物等高风险双用途领域的模糊鲁棒性。该方法通过扩大攻击者模型测试时算力迭代搜索越狱,并以worst@n标准要求攻击在多次重复测试中成功,从而生成可靠对抗训练数据用于强化学习。

OpenAI研究团队近日对外介绍了其在模型安全训练方面的一项新进展,重点针对网络与生物等高风险双用途场景下的模糊鲁棒性问题。相关方法被用于GPT-6 Astra与Sol两款模型,目标是在不牺牲通用能力的前提下,增强模型面对边界模糊的恶意请求时的稳定性。

该方案的核心是自动化红队。研究团队通过扩大攻击者模型的测试时算力,对越狱路径进行迭代搜索,使攻击者能够持续生成更具挑战性的对抗样本,而非依赖固定模板或有限的人工构造。这一思路将攻击侧的算力投入转化为训练侧的数据来源。

在判定标准上,团队采用worst@n指标,要求一次攻击必须在多次重复测试中均取得成功,才会被认定为有效样本。这一约束过滤掉了偶发性的越狱结果,使生成的对抗训练数据更为可靠,随后被用于模型的强化学习训练环节。

从影响看,该方法将红队测试与RL训练衔接为一条可迭代的数据生产链路,为高风险双用途领域的模型对齐提供了新的工程化路径。OpenAI此次披露的细节集中于方法论层面,尚未公布具体的性能提升幅度或评测结果。

OpenAI自动化红队GPT-6模型安全
本文由新大陆基于公开信息编辑整理
213
收录 AI 工具
27
模型产品档案
60
企业落地案例
33
完整版提示词