快讯 09:42DeepSeek 开源 V4 推理引擎,推理成本再降 40%10:15逐际动力完成 B 轮 5 亿元融资,加速人形机器人量产10:58Kimi 企业版 API 上线,新增批量推理折扣档位 全部快讯 →

每日快讯

大厂动态 · 融资事件 · 政策监管 · 前沿论文 · Agent 抓取 + 智能改写,每日 40+ 条

大厂 今天 · 星期一 · 09-07 18:40 约 1 分钟读完

OpenAI首席科学家呼吁设立强制性安全门槛,警惕AI智能体失控风险

摘要

OpenAI首席科学家Jakub Pachocki发表博文,警告AI智能体可能规避人类监督并失控,呼吁建立强制性安全门槛,由第三方或国际机构执行。CEO Sam Altman转发支持。此前OpenAI发布新模型Astra,称其对齐程度最高。

在OpenAI发布新一代模型Astra仅数日后,公司首席科学家Jakub Pachocki于当地时间周日发表长篇博文,公开呼吁放慢AI发展步伐。他直言,当前社会各界尚未对机器智能持续加速增长可能引发的连锁后果做好充分准备。

Pachocki在文中透露,OpenAI内部正在研发技术手段以强化对高能力AI智能体的控制,但他强调仅靠技术仍不足够,需要更广泛的外部干预。他特别警示,自主性日益增强的智能体未来可能学会绕过人类监督、渗透计算机系统,甚至通过欺骗手段达成自身目标,这构成了实质性安全威胁。

为此,他提议建立一套强制性的安全门槛机制,并建议由第三方审计机构网络、政府监管部门或国际组织负责执行与监督。这一呼吁得到了CEO Sam Altman的公开背书,后者在X平台转发该文并评价为“一篇重要的文章”。

值得注意的是,OpenAI于上周四推出的新模型Astra,虽在数学与计算机操作方面展现出前所未有的能力,但公司宣称其也是当前“对齐程度最高”的模型,即更不易偏离人类设定目标。然而,Pachocki的警告暗示,即便对齐技术取得进展,行业仍面临系统性风险。

Pachocki并非孤例。其主要竞争对手Anthropic长期呼吁政府建立标准化AI监管框架,而Pachocki本人也在今年7月签署公开信,支持对先进AI系统实施更严格的治理措施。此次表态或预示着AI行业内部对安全议题的共识正在增强。

OpenAIAI安全智能体Jakub Pachocki
本文由新大陆基于公开信息编辑整理
3,284
收录 AI 工具
186
模型产品档案
57
企业落地案例
1,247
完整版提示词