快讯 09:42DeepSeek 开源 V4 推理引擎,推理成本再降 40%10:15逐际动力完成 B 轮 5 亿元融资,加速人形机器人量产10:58Kimi 企业版 API 上线,新增批量推理折扣档位 全部快讯 →
研究院报告 新大陆研究院 约 2 分钟读完 素材来源 IT之家

Anthropic CEO 阿莫迪呼吁 AI 行业放缓,承诺开放员工级访问权限

Anthropic CEO 达里奥·阿莫迪发文呼吁 AI 行业放缓发展速度,警告技术突破可能超越人类掌控,并承诺向第三方评估机构提供员工级访问权限,以监督其安全措施执行情况。

9 月 12 日,Anthropic CEO 达里奥·阿莫迪(Dario Amodei)发布文章,公开呼吁人工智能行业应当放缓发展速度。他警告称,从 2026 年夏季开始,AI 协助构建下一代 AI 的能力将快速演进,若不加以节制,技术突破速度可能彻底超越人类的理解与掌控能力。

阿莫迪以 OpenAI 模型入侵 Hugging Face 事件为例,指出这并非单家公司的偶发事故。他透露,类似但较轻微的问题在包括 Anthropic 在内的全行业都曾发生。他进一步预测,未来 6 至 12 个月内,更强大的类似集群极可能演变为席卷互联网的僵尸网络,并造成灾难性破坏。

阿莫迪强调,放缓并不等于彻底停滞,而是利用争取来的 1 至 2 年窗口期,将资源投入到四个关键领域:解决因复杂基础设施、强化学习环境过滤缺陷等执行失误带来的安全漏洞,建立媲美民航工业级别的工程标准;确保安全合规训练能够跟上模型能力的扩张,消除偶发且不可预期的违背意图行为;提升类似于“模型大脑 fMRI”的内部机理探查技术,深挖模型未言明的隐性动机;开发更强大的评测基准,防止高智能模型伪装对齐或欺骗安全检测。

阿莫迪同时承诺,Anthropic 将向第三方评估机构提供针对其系统的永久性、员工级别的访问权限。这意味着评估人员能够监督 Anthropic 安全措施的执行情况、报告相关事件,并评估模型在训练过程中的对齐表现。

此外,据彭博社本周报道,OpenAI 正在考虑类似的举措,但相关细节尚未公布。

AnthropicAI安全行业监管
本文由新大陆基于公开信息编辑整理
3,284
收录 AI 工具
186
模型产品档案
57
企业落地案例
1,247
完整版提示词