在大模型训练成本持续高企的背景下，如何高效复用已有预训练成果成为业界关注焦点。AWS 团队近日发布论文《Priming: Hybrid state space models from pre-trained Transformers》，提出一种名为 priming 的新方法，试图为这一难题提供解决路径。

该方法的核心思路是复用预训练 Transformer 的权重，以此为基础构建混合状态空间架构。这意味着开发者无需从零开始训练新模型，而是可以借助已有 Transformer 模型的参数积累，快速转向混合架构。

据论文披露，priming 方法可将预训练成本降低逾 99%，全流程消耗的 token 预算不足源模型的 0.5%。这一数据表明，该方案在显著压缩计算资源需求的同时，仍能完成从 Transformer 到混合状态空间架构的转换。

对于 AI 行业而言，这一方法的潜在价值在于降低架构迁移的门槛。混合状态空间模型近年来因在序列建模效率上的优势受到关注，而 priming 提供了一条从成熟 Transformer 生态切入的可行路径，有望减少重复训练带来的资源浪费。