Meta开源816B参数MoE模型Muse Spark Open登陆Fireworks,支持1M上下文
摘要
Meta开源权重模型Muse Spark Open在Fireworks平台Day-0开放serverless调用。该模型为816B参数MoE架构,每token激活42B参数,上下文窗口达1M token,主打长上下文编码与Agent工作负载。
Meta在开源权重模型领域再落一子。其模型Muse Spark Open已于Fireworks平台实现Day-0的serverless调用支持,开发者可在模型发布当日直接通过托管接口接入,无需自行部署。
从架构参数看,Muse Spark Open采用混合专家(MoE)设计,总参数量为816B,推理时每个token激活42B参数。这一配置在控制单次推理计算量的同时保留了较大的模型容量。
上下文能力是该模型的突出特征,窗口长度达到1M token,可覆盖大规模代码库、长文档等输入场景。结合其定位,模型主要面向长上下文编码与Agent类工作负载。
对AI应用开发者而言,Day-0上线意味着模型能力可快速进入生产验证环节;MoE架构与1M上下文的组合,也为需要处理超长输入、多步骤任务的Agent系统提供了新的可选基座。
本文由新大陆基于公开信息编辑整理
信息来源:AIHOT AIHOT原文 ↗