百度开源ERNIE-5.5-Flash-Base:280B总参数,每token激活14B
摘要
百度文心团队发布ERNIE-5.5-Flash-Base开源Base模型,总参数280B,每token激活14B,并在Hugging Face开放预训练终点权重,提供FP8与BF16两种safetensors格式,为社区微调与部署提供新选择。
百度文心团队近日推出ERNIE-5.5-Flash-Base模型,将其定位为开源Base版本。该模型采用稀疏激活架构,总参数规模达到280B,而每个token实际激活的参数为14B,在模型容量与推理开销之间寻求平衡。
在发布方式上,团队选择在Hugging Face平台开放预训练终点(Base)权重,而非仅提供对话或指令微调版本。这一做法便于研究者和开发者基于原始预训练检查点开展二次训练与定制化开发。
权重文件方面,ERNIE-5.5-Flash-Base同时提供FP8与BF16两种safetensors格式。两种精度选项可覆盖不同硬件条件与部署需求,FP8有助于降低显存占用,BF16则保留更高数值精度。
从行业视角看,此次开源延续了国内厂商开放基础模型的节奏。280B总参数配合14B激活的配置,使该模型在参数规模上进入大模型行列,其实际表现与社区适配情况仍有待后续验证。
本文由新大陆基于公开信息编辑整理
信息来源:AIHOT AIHOT原文 ↗