快讯 22:26李在明视察蔚山在建数据中心,强调AI竞赛速度决定成败08:00Together AI 披露提示词泄露事件:编码 agent 误传凭证致样本外泄08:00Qwen4 Max登陆Together AI,1M上下文加持整仓bug修复 全部快讯 →

每日快讯

大厂动态 · 融资事件 · 政策监管 · 前沿论文 · Agent 抓取 + 智能改写,每日 40+ 条

论文 11-11 · 星期三 · 11-11 08:00 约 1 分钟读完

Anthropic研究揭示:稀释投毒微调数据反而强化后门效应

摘要

Anthropic与Truthful AI等机构提出“顺势学习”现象:单独作用很小的投毒数据,在混入同类型干净对比数据后会形成隐藏后门,意味着稀释投毒样本不仅未削弱风险,反而可能强化其后门效应。

AI模型微调数据的安全性问题再添新发现。Anthropic联合Truthful AI等机构开展的研究指出,投毒数据的安全风险并不总是随其占比降低而减弱,一种被称为“顺势学习”的现象正在改变业界对数据投毒的传统认知。

研究显示,单独作用时影响微弱的投毒样本,一旦被混入同类型的干净对比数据之中,反而会形成难以察觉的隐藏后门。这一结果与“稀释投毒样本即可降低风险”的常规直觉相悖。

换言之,攻击者若将投毒数据分散隐藏于大量同类干净数据之间,模型在微调过程中可能更易吸收其中的恶意倾向,而表面上的数据分布却显得正常。该机制为微调阶段的数据审查提出了新的挑战。

对AI行业而言,这一发现提示数据安全防线不能仅依赖投毒样本的比例控制,还需关注数据之间的同类对比关系及其对模型行为的潜在引导作用。相关结论为后续微调数据治理与后门检测研究提供了新的方向。

Anthropic数据投毒模型微调AI安全
本文由新大陆基于公开信息编辑整理
213
收录 AI 工具
27
模型产品档案
60
企业落地案例
33
完整版提示词