微软研究院披露Lazarus后门:重编程不足10个休眠神经元即可劫持AI Agent
摘要
微软研究院发布Lazarus后门技术研究,通过重编程大语言模型中少于10个休眠神经元,即可在无需训练的情况下为基于该模型的AI Agent植入后门。该研究揭示了权重空间攻击的新路径,对Agent部署安全构成潜在威胁。
微软研究院近日公布了一项名为Lazarus的后门技术研究,将攻击面从传统的训练数据投毒转向模型权重空间。研究显示,攻击者无需重新训练模型,即可在推理阶段对模型行为实施定向操控。
该技术的核心在于对休眠神经元的利用。研究团队发现,大语言模型中存在一批在常规任务中几乎不被激活的神经元,通过对其权重进行重编程,仅需改动少于10个此类神经元,便能为依托该模型构建的AI Agent植入后门。
与传统后门攻击相比,Lazarus的显著特征在于绕开了训练环节。这意味着攻击者不必接触训练数据或微调流程,攻击成本与隐蔽性均发生变化,现有以数据溯源和训练审计为主的防御思路可能难以覆盖这一路径。
由于攻击对象是承载Agent决策能力的底层模型,一旦后门生效,受影响的Agent可能在特定触发条件下产生异常行为。对于将大模型作为Agent核心组件的开发者而言,该研究提示需将权重层面的完整性检查纳入安全评估范围。
本文由新大陆基于公开信息编辑整理
信息来源:AIHOT AIHOT原文 ↗