快讯 23:37余承东:华为已基本摆脱美国技术依赖,鸿蒙拟逐步走向全球23:35三星12层HBM4E被曝通过英伟达等客户验证,官方回应无法确认11:44世嘉明确AI使用边界:创意工作不交给AI,态度谨慎 全部快讯 →

每日快讯

大厂动态 · 融资事件 · 政策监管 · 前沿论文 · Agent 抓取 + 智能改写,每日 40+ 条

论文 今天 · 星期四 · 10-08 10:15 约 1 分钟读完

前Anthropic研究员纽约作证:AI自主研究或2027年实现,人类失控风险超五成

摘要

前Anthropic研究员雅各布·考克森在纽约市议会听证会上警告,顶尖AI实验室正推动AI研究自动化,OpenAI设定的2027至2028年目标进度已超预期。他称人类失去控制权的概率超过一半,并批评两家公司安全保障不足。

曾在Anthropic与OpenAI任职的研究员雅各布·考克森,于当地时间5日出席纽约市议会关于AI风险的听证会。这位27岁的研究员上个月刚从Anthropic辞职,此次以亲历者身份向议员发出警示:前沿AI实验室的首要目标,是让AI研究本身实现自动化。

考克森在证词中透露了具体时间表。他称在OpenAI工作期间,团队为自动化AI研究员设定了2027年、2028年前后的阶段性目标,而研发进度符合预期,甚至超出预期。“距离那个时候只有几个月,不是几十年,连五年都不是。”他同时表示,自己在Anthropic的上一份工作,某种意义上就是在研究如何让AI取代自己。

他进一步描述了当前研发现状的隐忧:大部分代码已由AI编写,而人们不再像过去那样仔细检查代码。一旦AI能够自行开展研究,人类参与和干预的程度将远低于今天,而他认为今天的情况本就不太理想。

基于在两家公司的任职经历,考克森对安全保障提出质疑。他作证称,两家公司没有充分的安全保障,却仍在推进研发,人类失去控制权、让AI掌握控制权的概率超过一半,最终可能导致人类灭绝。他直言,后果如此重大,两家公司的做法却极其鲁莽。

考克森此前已在X上宣布辞去Anthropic职务,此次听证会是他辞职后首次公开就AI生存风险作出系统性陈述。

AI安全AnthropicOpenAIAI监管
本文由新大陆基于公开信息编辑整理
213
收录 AI 工具
23
模型产品档案
60
企业落地案例
11
完整版提示词