快讯 23:36国内首部AI全流程院线长片票房破116万,博纳自研云片场上阵23:05苹果测试OLED版iMac与MacBook Air,量产时间或推迟至2029年22:45Unsloth 推出 MiniMax-M3.1-Flash 量化 GGUF,2-bit 版本可本地运行 全部快讯 →

每日快讯

大厂动态 · 融资事件 · 政策监管 · 前沿论文 · Agent 抓取 + 智能改写,每日 40+ 条

大厂 今天 · 星期一 · 10-26 07:00 约 1 分钟读完

英国AISI实测:ESM-2数据过滤削弱目标能力,约80美元算力可恢复

摘要

英国AI安全研究院Chem-Bio团队从零预训练8M至3B参数的ESM-2蛋白质语言模型,测试预训练数据过滤对专业科学模型的效果。结果显示,过滤可削弱目标能力,但约80美元算力即可恢复。

围绕预训练数据过滤能否真正约束专业科学模型的能力边界,英国AI安全研究院(AI Security Institute)下属Chem-Bio团队开展了一项针对性实验,选择蛋白质语言模型ESM-2作为测试对象。

研究团队从零开始预训练了参数规模覆盖8M到3B的ESM-2系列模型,并在这一过程中考察预训练数据过滤对模型专业能力的影响。这一设置使实验能够同时观察不同规模模型在过滤条件下的表现差异。

实验得出的核心结论是:数据过滤确实能够削弱模型的目标能力,但这种削弱并非不可逆——约80美元的算力投入即可将相关能力恢复。该结果对以数据过滤作为能力管控手段的思路提出了现实层面的参考。

从影响看,这项实测为专业科学模型的能力治理提供了量化视角:过滤措施的有效性需要结合恢复成本来评估,而较低算力门槛下的能力回升,意味着单纯依赖预训练数据过滤可能难以构成稳固的防线。

AI安全ESM-2数据过滤预训练
本文由新大陆基于公开信息编辑整理
213
收录 AI 工具
23
模型产品档案
60
企业落地案例
21
完整版提示词