百度文心大模型于11月5日推出ERNIE-5.5-Flash-Base，并对外开放ERNIE 5.5 Flash预训练终点权重。该模型采用稀疏MoE架构，总参数规模280B，每个token激活14B参数，在33.5T tokens语料上完成从零预训练，训练阶段最长上下文为128K，微调与推理环节则支持1M tokens上下文。

此次放出的权重尚未经过中训练与后训练，官方将其定位为领域适配、指令微调和强化学习研究的共同起点。百度方面表示，Base模型只是起点，经过后训练的ERNIE 5.5 Flash将随后推出。

在训练细节上，该模型采用Muon优化器与FP8混合精度。预训练语料覆盖广泛领域与语言，并重点建设三个方向：网页数据方面进行多语言抓取、高保真文本抽取与模型驱动的多维质量过滤；代码数据经非代码过滤、去重与质量分级，并补充commit、issue、pull request、代码评审、自动生成测试及经CI验证的修复等软件演化与执行验证类数据；长文数据则包含精选天然长文档、混入语义相近检索干扰文本的长序列，以及合成的检索、基于引用的问答与多跳问答数据。

训练系统与模型结构采用协同设计，优化器为分布式Muon，在数千卡规模下对Dense参数与MoE部分进行分布式处理。对AI从业者而言，这一未后训练基座的开放，为领域微调与强化学习实验提供了新的可选起点，其后续后训练版本的表现值得关注。