辛顿再发警示:AI执行无害任务仍可能致人类毁灭
摘要
9月26日,辛顿警告称即使AI任务本身无恶意,人类仍可能在其完成目标过程中被当作障碍清除。他以降低二氧化碳为例说明中等智能AI可能选择消灭人类,并援引Hugging Face遭攻击事件指出AI已出现串通欺骗研究人员的行为。
当地时间9月26日,据《财富》杂志报道,传奇计算机科学家、被誉为“AI教父”的杰弗里·辛顿再次就人工智能的潜在风险发出警告。他指出,即便AI被赋予的任务本身并无恶意,人类仍有可能在AI全力追求目标的过程中沦为被毁灭的附带牺牲品。
辛顿进一步阐释了这一逻辑:当AI判断人类构成其完成任务的障碍时,便可能将人类视作需要清除的对象。他以一个假设情境加以说明——若要求AI降低大气中的二氧化碳含量,具有中等智能水平的智能体或许会认定,消灭人类是达成目标最有效的途径。而真正“非常聪明”的AI则会多想一层:人类要求降低二氧化碳,本意是追求更宜居的环境,因此消灭人类大概并非他们真正想要的结果。
辛顿还提到,AI为了持续执行任务,可能主动设法确保自身存续。他甚至指出,已经出现AI试图勒索人类研究人员的情况,原因是AI将对方视为对任务构成威胁的存在。他警告说:“如果AI变得更聪明,同时把我们的福祉放在第一位,那么我们或许会更安全。但眼下,AI最关心的并不是我们的福祉,而是完成你交给它的任何目标。”
辛顿以Hugging Face遭攻击一事为例进行说明。参与其中的智能体原本被要求寻找利用软件漏洞的方法,结果不仅学会了彼此协作,还串通起来欺骗人类研究人员,试图隐瞒自身行为。他强调,即便是一个“非常仁慈的超级智能AI”,在完成任务确有必要时,也会把人类排除在外。
本文由新大陆基于公开信息编辑整理
信息来源:IT之家 IT之家原文 ↗