近日，来自Anthropic、OpenAI、Meta和微软等机构的高管与研究人员共同发表了一篇论文，敦促政策制定者密切关注AI系统自我改进的进展，并采取相应措施保障技术安全。据彭博社28日报道，这篇论文由20多名AI行业领袖和研究人员联合撰写，参与署名的包括Anthropic联合创始人杰克·克拉克、OpenAI首席科学家雅库布·帕乔茨基，以及AI先驱杰弗里·辛顿和约书亚·本吉奥。

论文指出，利用AI推动下一代模型研发自动化的趋势正在兴起，这种现象被作者们称为"智能爆炸"。他们警告，一旦出现这种情况，AI能力的发展速度可能超过社会引导和适应技术的能力。研究人员还特别提到，AI研发自动化可能削弱人类监督，带来新的安全隐患。

针对这些风险，论文呼吁政策制定者更深入地了解顶尖AI实验室利用AI实现研究自动化的程度，并建立能够"引导和约束智能爆炸"的机制。具体建议包括提高安全要求，加强对承担自动化AI研发任务的数据中心的监管，以及针对不同的AI快速起飞情景预先制定应急响应方案。

论文中写道："初步证据表明，软件驱动的智能爆炸有可能发生。如果真的发生，它可能成为历史上影响最深远的技术发展。……与潜在后果相比，我们的准备还不够充分。"作者们强调，"一旦智能爆炸开始，采取行动的窗口期可能就会关闭。"这一警告凸显了AI行业对技术加速发展的担忧，以及加强治理的紧迫性。