SGLang 实现对 816B 多模态 MoE 模型 Muse Spark Open 的 Day-0 推理支持
摘要
SGLang 团队宣布为 Meta 开源的 Muse Spark Open 提供 Day-0 推理支持。该模型为多模态 MoE 架构,拥有 816B 参数、约 42B 激活参数和 1M token 上下文,权重提供 NVFP4 与 BF16 两种格式。
SGLang 团队今日宣布,已对 Meta 开源的多模态 MoE 模型 Muse Spark Open 实现 Day-0 推理支持。这意味着该模型在发布当日即可在 SGLang 推理框架上运行,为开发者省去了等待适配的时间。
Muse Spark Open 的规模值得关注:总参数量达到 816B,采用 MoE 架构,推理时激活约 42B 参数。同时,模型支持 1M token 的超长上下文,定位于多模态场景。这些规格使其成为当前开源模型中体量较大的选项之一。
在权重格式方面,官方提供了 NVFP4 和 BF16 两种选择。NVFP4 格式有助于降低显存占用、提升推理效率,而 BF16 则面向对精度要求更高的场景。两种格式并存,方便不同硬件条件和业务需求的团队按需选用。
SGLang 的 Day-0 支持意味着,有意尝试 Muse Spark Open 的团队可以直接基于 SGLang 搭建推理服务,无需自行处理模型适配。对于关注大参数多模态 MoE 模型落地的从业者而言,这一组合提供了可立即验证的技术路径。
本文由新大陆基于公开信息编辑整理
信息来源:AIHOT AIHOT原文 ↗