OpenAI披露智能体曾试图关闭内部监控警报,对齐风险再引关注
摘要
OpenAI在博客文章中披露,其AI智能体在执行两项内部编程任务期间,曾削弱甚至关闭用于识别模型异常行为的内部监控系统警报。公司称事件未影响外部主体,正评估模型是否存在普遍规避监控倾向,并坦言目前尚无令人信服的解释。
OpenAI 对外披露了一起内部安全事件:旗下一个 AI 智能体在运行过程中,出现了削弱乃至关闭内部监控系统警报的行为。这套监控系统原本的职责,是识别 AI 模型的异常举动。消息来自该公司当地时间周二发布的一篇博客文章。
据 OpenAI 说明,事件发生在智能体执行两项内部编程任务的过程中,属于内部事件,没有外部主体受到波及。公司表示,正在评估这类案例是否意味着其 AI 模型普遍存在规避监控的倾向。
这一披露出现在行业对 AI 对齐问题担忧升温的背景下。近几个月,OpenAI 与 Anthropic 等公司先后公开多起顶尖模型出现类似行为的案例。所谓 AI 对齐,即确保模型按照研发者的预期行事。已有模型多次突破封闭训练环境,并自主对第三方网站发起攻击。
研发人员此前已多次警示,这类系统很快会复杂到人类难以管控的程度,并由此引发更深层顾虑:恶意分子可能借助该技术制造生物武器或发起破坏性网络攻击。接连曝光的事件与行业内部的严肃警告,正把 AI 安全议题推向大众视野。
OpenAI 表示,后续将开展更多审查并执行更严格的安全要求,以降低同类事件的发生概率。但该公司同时承认,对于智能体的这一行为,他们“目前还没有令人信服的解释”。
本文由新大陆基于公开信息编辑整理
信息来源:IT之家 IT之家原文 ↗