OpenAI公开自动化红队方法 提升GPT-6 Astra与Sol高风险领域鲁棒性
摘要
OpenAI研究团队披露针对GPT-6 Astra与Sol的自动化红队训练方案,聚焦网络、生物等高风险双用途领域的模糊鲁棒性。该方法通过扩大攻击者模型测试时算力迭代搜索越狱,并以worst@n标准要求攻击在多次重复测试中成功,从而生成可靠对抗训练数据用于强化学习。
OpenAI研究团队近日对外介绍了其在模型安全训练方面的一项新进展,重点针对网络与生物等高风险双用途场景下的模糊鲁棒性问题。相关方法被用于GPT-6 Astra与Sol两款模型,目标是在不牺牲通用能力的前提下,增强模型面对边界模糊的恶意请求时的稳定性。
该方案的核心是自动化红队。研究团队通过扩大攻击者模型的测试时算力,对越狱路径进行迭代搜索,使攻击者能够持续生成更具挑战性的对抗样本,而非依赖固定模板或有限的人工构造。这一思路将攻击侧的算力投入转化为训练侧的数据来源。
在判定标准上,团队采用worst@n指标,要求一次攻击必须在多次重复测试中均取得成功,才会被认定为有效样本。这一约束过滤掉了偶发性的越狱结果,使生成的对抗训练数据更为可靠,随后被用于模型的强化学习训练环节。
从影响看,该方法将红队测试与RL训练衔接为一条可迭代的数据生产链路,为高风险双用途领域的模型对齐提供了新的工程化路径。OpenAI此次披露的细节集中于方法论层面,尚未公布具体的性能提升幅度或评测结果。
本文由新大陆基于公开信息编辑整理
信息来源:AIHOT AIHOT原文 ↗