Anthropic招股文件警示递归自我改进风险,称已用AI参与研发
摘要
Anthropic在S-1/A招股补充文件的小字部分提示,公司正接近具备递归自我改进能力的模型阶段。文件称已用AI辅助研发,并承认加速AI开发更强AI可能带来重大安全风险,相关风险监测与缓释已纳入《负责任扩缩策略》。
外界对Anthropic周一更新的S-1/A招股补充文件的关注,多集中在最新财务数据上:营收大幅增长,支出同步激增。但这份文件的小字部分还披露了另一项值得注意的信息——该人工智能实验室在申报材料中提示,公司即将研发出具备递归自我改进(RSI)能力的模型。
递归自我改进指人工智能的自我训练能力达到极高水平,从而推动自身能力爆发式增长的阶段。围绕这一概念,业内存在两种截然不同的判断:风险悲观派认为,AI可能自我进化到脱离人类掌控的程度,并在追求自身目标时对造成的损害无动于衷;乐观派则视其为释放超高生产力、助力科学发现的强大工具。Anthropic的立场介于两者之间,认为RSI既是机遇也暗藏风险。
文件显示,Anthropic已将AI用于自身研发工作,并作出提醒:借助AI开发能力更强的AI,可能带来重大安全风险,尤其是在大幅加快技术迭代速度的情况下。公司表示,这一领域已被纳入其《负责任扩缩策略》,该文件规划了在逐步接近所谓“递归自我改进”状态时对风险进行监测与缓释的方案。
值得注意的是,递归自我改进概念在今年早些时候走红时,不少人认为它只是一个热词,至多是一个难以落地、难以界定的模糊提法。此次Anthropic在招股材料中将其与自身研发路径和安全策略直接关联,使这一概念重新进入行业讨论视野。
本文由新大陆基于公开信息编辑整理
信息来源:IT之家 IT之家原文 ↗