微软MAI-Base-2预训练收官:2.8T参数MoE模型FLOPs效率最高达DeepSeek-V4-Pro-Base的12.3倍
摘要
Microsoft AI宣布完成MAI-Base-2预训练。该模型为800亿激活、2.8T总参数的MoE基础模型,在held-out评测中BPB低于所测全部开源权重模型,预训练FLOPs效率比DeepSeek-V4-Pro-Base高4.2至12.3倍。
Microsoft AI 近日披露了 MAI-Base-2 的预训练进展,宣布该阶段工作已经完成。这是一款采用 MoE 架构的基础模型,总参数规模达到 2.8T,单次推理激活约 800 亿参数。
在 held-out 评测集上,MAI-Base-2 的 BPB 指标低于本次测试所覆盖的全部开源权重模型,意味着其在语言建模的压缩效率上取得了相对领先的位置。
更受关注的是预训练阶段的算力效率。Microsoft AI 给出的数据显示,MAI-Base-2 的预训练 FLOPs 效率达到 DeepSeek-V4-Pro-Base 的 4.2 至 12.3 倍,具体倍数随对比条件变化。这一区间跨度表明,效率优势在不同评测口径下存在差异,但整体方向一致。
对于基础模型研发而言,FLOPs 效率直接关系到同等算力预算下可达到的模型质量。MAI-Base-2 的数据点出,MoE 稀疏激活路线在超大规模参数下仍具备可观的效率挖掘空间,也为后续微调与部署环节留下观察窗口。
本文由新大陆基于公开信息编辑整理
信息来源:AIHOT AIHOT原文 ↗