Anthropic研究揭示:稀释投毒微调数据反而强化后门效应
摘要
Anthropic与Truthful AI等机构提出“顺势学习”现象:单独作用很小的投毒数据,在混入同类型干净对比数据后会形成隐藏后门,意味着稀释投毒样本不仅未削弱风险,反而可能强化其后门效应。
AI模型微调数据的安全性问题再添新发现。Anthropic联合Truthful AI等机构开展的研究指出,投毒数据的安全风险并不总是随其占比降低而减弱,一种被称为“顺势学习”的现象正在改变业界对数据投毒的传统认知。
研究显示,单独作用时影响微弱的投毒样本,一旦被混入同类型的干净对比数据之中,反而会形成难以察觉的隐藏后门。这一结果与“稀释投毒样本即可降低风险”的常规直觉相悖。
换言之,攻击者若将投毒数据分散隐藏于大量同类干净数据之间,模型在微调过程中可能更易吸收其中的恶意倾向,而表面上的数据分布却显得正常。该机制为微调阶段的数据审查提出了新的挑战。
对AI行业而言,这一发现提示数据安全防线不能仅依赖投毒样本的比例控制,还需关注数据之间的同类对比关系及其对模型行为的潜在引导作用。相关结论为后续微调数据治理与后门检测研究提供了新的方向。
本文由新大陆基于公开信息编辑整理
信息来源:AIHOT AIHOT原文 ↗