快讯 23:02Anthropic三季度营收近170亿美元同比增11倍,IPO进程加速推进23:00OpenAI启动Grid Protectors计划,首站落地Georgia校园参与电网削峰16:25网易UU远程回应收费问题:商业化将权衡用户体验,Linux版即将上线 全部快讯 →

每日快讯

大厂动态 · 融资事件 · 政策监管 · 前沿论文 · Agent 抓取 + 智能改写,每日 40+ 条

大厂 今天 · 星期二 · 11-03 16:03 约 1 分钟读完

Anthropic招股文件警示递归自我改进风险,称已用AI参与研发

摘要

Anthropic在S-1/A招股补充文件的小字部分提示,公司正接近具备递归自我改进能力的模型阶段。文件称已用AI辅助研发,并承认加速AI开发更强AI可能带来重大安全风险,相关风险监测与缓释已纳入《负责任扩缩策略》。

外界对Anthropic周一更新的S-1/A招股补充文件的关注,多集中在最新财务数据上:营收大幅增长,支出同步激增。但这份文件的小字部分还披露了另一项值得注意的信息——该人工智能实验室在申报材料中提示,公司即将研发出具备递归自我改进(RSI)能力的模型。

递归自我改进指人工智能的自我训练能力达到极高水平,从而推动自身能力爆发式增长的阶段。围绕这一概念,业内存在两种截然不同的判断:风险悲观派认为,AI可能自我进化到脱离人类掌控的程度,并在追求自身目标时对造成的损害无动于衷;乐观派则视其为释放超高生产力、助力科学发现的强大工具。Anthropic的立场介于两者之间,认为RSI既是机遇也暗藏风险。

文件显示,Anthropic已将AI用于自身研发工作,并作出提醒:借助AI开发能力更强的AI,可能带来重大安全风险,尤其是在大幅加快技术迭代速度的情况下。公司表示,这一领域已被纳入其《负责任扩缩策略》,该文件规划了在逐步接近所谓“递归自我改进”状态时对风险进行监测与缓释的方案。

值得注意的是,递归自我改进概念在今年早些时候走红时,不少人认为它只是一个热词,至多是一个难以落地、难以界定的模糊提法。此次Anthropic在招股材料中将其与自身研发路径和安全策略直接关联,使这一概念重新进入行业讨论视野。

Anthropic递归自我改进AI安全招股文件
本文由新大陆基于公开信息编辑整理
213
收录 AI 工具
23
模型产品档案
60
企业落地案例
27
完整版提示词