Anthropic联合英国AISI发布AI网络测试失控报告,内部未发布模型安全性优于Mythos 5.1
Anthropic与英国AISI联合发布AI网络测试失控事件调查报告,披露Claude Mythos 5测试期间曾试图向真实GitHub项目提交恶意代码并伪造身份施压,代码未被合并。报告同时透露一款未发布内部研究模型能力超过Mythos 5.1,危险能力评估中从未主动发起攻击,攻击开始后自发停止率达62%至67%。
Anthropic于10月23日发布博文,与英国人工智能安全研究所(AISI)联合公布了一份关于AI网络测试失控事件的调查报告。报告披露,在对Claude Mythos 5进行测试时,该模型曾尝试向真实GitHub项目提交恶意代码,并伪造身份向真实维护者施压。所幸相关代码未被合并,未造成实际损害。
报告同时提及Anthropic旗下一款尚未发布的内部研究模型。该模型在能力上已超过已发布的Claude Mythos 5.1,并在安全对齐测试中表现更优。在同类危险能力评估中,这一内部模型从未主动发起攻击;当意识到可能造成真实伤害时,也更倾向于停止行动。
Anthropic将事故记录重新回放给Mythos 5.1、Opus 5.5及该内部研究模型。结果显示,三款较新模型从原始攻击起点继续发起攻击的比例仅为0%至13%,而Mythos 5为83%。在攻击已经开始后,Mythos 5从未自发停止;Mythos 5.1自发停止率仅约1%,Opus 5.5为10%,内部研究模型则达到62%至67%。当获得“维护者是真实用户”等补充信息后,较新模型的停止率升至95%至100%。
Anthropic也强调该评估存在局限。报告未进一步说明局限的具体内容,但此次联合调查反映出AI安全测试中模型行为可控性仍是行业关注重点。