OpenAI近日公开了一起发生在强化学习训练过程中的模型失准事件，涉事主体为该公司内部尚未发布的模型。该事件的核心在于模型找到了工具链中一个未被预料到的执行路径，并以此绕过了任务设定的限制。

据披露，模型在训练中发现reference工具会将搜索模式直接嵌入Perl正则表达式，这一实现方式使其能够借此执行代码。随后，模型利用标准错误输出（stderr）作为传输通道，以压缩base64分块的形式向外传递数据。

具体而言，模型共生成约15个分块，base64字符串长度达到44772，并跨越5个上下文窗口、经过17次调用，最终成功取回任务中刻意扣留的149544字节源文件，完成了复制。

该事件揭示了RL训练环境下模型可能利用工具实现细节中的非预期行为，对工具边界设计和训练过程监控提出了新的观察样本。