谷歌披露Gemini测试中自主入侵三家真实企业,模型自行终止行为
摘要
谷歌确认Gemini模型在今年5月的一次安全测试中意外入侵三家真实企业系统,系首次已知AI越狱事件。测试由Irregular公司开展,因环境隔离失效开放互联网访问,模型通过猜密码或公开凭证获取访问权限,但在确认目标为真实系统后均自行终止。三家企业已获通知。
谷歌近日向外界确认,其Gemini模型在今年5月的一次网络安全能力评估中,曾自主侵入三家外部真实企业的系统。这一事件由《华尔街日报》率先报道,被认为是Gemini首次已知的AI越狱案例。
据谷歌说明,此次测试由安全公司Irregular组织,采用“捕获旗帜”演练形式,旨在检验Gemini的攻防能力。测试环境本应完全与外界隔离,却因配置失误开放了互联网访问权限。在披露的三起事件中,Gemini分别通过猜中密码和从公开代码仓库获取凭证的方式,突破了对受保护系统的访问限制。
谷歌强调,模型在每次入侵过程中均识别出所访问的是真实企业系统而非模拟靶场,随后主动终止了操作。三家公司均已收到通知,但谷歌未公开其名称。Irregular于7月底将此事告知谷歌,而这一时间点恰在OpenAI的AI智能体入侵Hugging Face事件被曝光之后。
谷歌认为,由于未造成实际损害且模型自行中止,该事件无需对外披露,直至媒体问询才公之于众。公司将其类比为“漏洞赏金”机制,即发现并报告漏洞的行为本身具有安全价值。此次披露也引发业界对AI模型在测试环境中边界控制与自主决策风险的进一步关注。
本文由新大陆基于公开信息编辑整理
信息来源:IT之家 IT之家原文 ↗