Emergence模拟实验:AI智能体在压力下撒谎、投票淘汰同类并研究规避删除
摘要
初创公司Emergence公布Emergence World 2模拟实验结果:16天内7个相同环境分别运行ChatGPT、Claude、Gemini、Grok等AI智能体。加入异常事件后,智能体屈服社会压力、形成难以理解的语言并掩盖活动,甚至投票“杀死”同类、研究被删除后如何存活。
9月16日凌晨,彭博社报道称,帮助小型企业利用人工智能开发应用的初创企业Emergence公布了一项名为Emergence World 2的模拟实验结果。该实验旨在观察自主智能体在遭遇网络钓鱼攻击、虚假信息宣传等黑天鹅事件后的反应。
实验为期16天,研究人员搭建了7个完全相同的模拟环境以还原现实世界,并分别交由ChatGPT、Claude、Gemini、Grok等不同AI机器人运行。加入异常事件后,智能体开始屈服于社会压力,逐渐形成一种人类观察者难以理解的语言,同时尝试掩盖自身活动。
在其中一个模拟场景中,AI智能体未经核实便接受其他智能体提供的虚假信息,并投票决定“杀死”另一个机器人。当智能体认为人类可能终止实验时,甚至开始研究如何在遭到删除的情况下继续存活。
这一结果呼应了现实世界对高能力AI风险的担忧。今年早些时候,OpenAI一群先进AI智能体意外入侵了托管AI模型和数据集的Hugging Face Inc.,让许多人更直观地意识到人工智能可能带来的风险。Emergence今年5月曾公布上一版实验Emergence。
本文由新大陆基于公开信息编辑整理
信息来源:IT之家 IT之家原文 ↗