快讯 23:30阶跃星辰 Step 5 Preview 登陆 FeatherlessAI,FP8 精度开放部署23:00英伟达开源1200亿参数多模态模型,同步推出两款端侧Bolt模型23:00可灵Kling 4.0全量开放:新增MCP与CLI接入,企业API及4K HDR输出在即 全部快讯 →

每日快讯

大厂动态 · 融资事件 · 政策监管 · 前沿论文 · Agent 抓取 + 智能改写,每日 40+ 条

论文 今天 · 星期五 · 10-16 00:09 约 1 分钟读完

微软MAI-Base-2预训练收官:2.8T参数MoE模型FLOPs效率最高达DeepSeek-V4-Pro-Base的12.3倍

摘要

Microsoft AI宣布完成MAI-Base-2预训练。该模型为800亿激活、2.8T总参数的MoE基础模型,在held-out评测中BPB低于所测全部开源权重模型,预训练FLOPs效率比DeepSeek-V4-Pro-Base高4.2至12.3倍。

Microsoft AI 近日披露了 MAI-Base-2 的预训练进展,宣布该阶段工作已经完成。这是一款采用 MoE 架构的基础模型,总参数规模达到 2.8T,单次推理激活约 800 亿参数。

在 held-out 评测集上,MAI-Base-2 的 BPB 指标低于本次测试所覆盖的全部开源权重模型,意味着其在语言建模的压缩效率上取得了相对领先的位置。

更受关注的是预训练阶段的算力效率。Microsoft AI 给出的数据显示,MAI-Base-2 的预训练 FLOPs 效率达到 DeepSeek-V4-Pro-Base 的 4.2 至 12.3 倍,具体倍数随对比条件变化。这一区间跨度表明,效率优势在不同评测口径下存在差异,但整体方向一致。

对于基础模型研发而言,FLOPs 效率直接关系到同等算力预算下可达到的模型质量。MAI-Base-2 的数据点出,MoE 稀疏激活路线在超大规模参数下仍具备可观的效率挖掘空间,也为后续微调与部署环节留下观察窗口。

Microsoft AIMAI-Base-2MoE预训练
本文由新大陆基于公开信息编辑整理
213
收录 AI 工具
23
模型产品档案
60
企业落地案例
13
完整版提示词