微软完成MAI-Base-2预训练,2.8T参数模型性能超越全部参测开源权重模型
摘要
微软宣布完成新一代SOTA基础模型MAI-Base-2的预训练,总参数2.8T、活跃参数80B,在6000个NVIDIA GB200 GPU上训练38天,性能强于所有参测开源权重模型,算力效率达DeepSeek-V4-Pro-Base的4至12倍。
微软当地时间昨日宣布,其新一代SOTA基础模型MAI-Base-2的预训练工作已正式完成。该模型在性能上超越了所有参与测试的开源权重模型,成为微软在基础模型领域的最新成果。
从规模与训练配置看,MAI-Base-2总参数规模达到2.8T,活跃参数规模为80B。整个预训练过程在6000个NVIDIA GB200 GPU上运行,历时38天。训练期间,该模型平均浮点算力利用率为21%,有效吞吐量为89%。
微软方面表示,MAI-Base-2的预训练算力效率是DeepSeek-V4-Pro-Base的4至12倍。微软将这一成果归因于三项关键举措:科学规模化、模型-基础设施协同设计以及数据规模化。
在推进MAI-Base-2完善的同时,微软已启动下一代模型MAI-Base-3的准备工作。此前微软曾表示,其自研模型仅凭OpenAI同类产品四分之一的算力便实现了超越。
本文由新大陆基于公开信息编辑整理
信息来源:IT之家 IT之家原文 ↗