快讯 23:38乐奇Rokid香港开设全球首家AI眼镜无人体验店,主打自助沉浸式零售23:30阶跃星辰 Step 5 Preview 登陆 FeatherlessAI,FP8 精度开放部署23:19英伟达推出1200亿参数Nemotron 3.5 Super VL,单GPU智能体吞吐量提升5倍 全部快讯 →

每日快讯

大厂动态 · 融资事件 · 政策监管 · 前沿论文 · Agent 抓取 + 智能改写,每日 40+ 条

论文 今天 · 星期五 · 10-16 08:00 约 1 分钟读完

SGLang 实现对 816B 多模态 MoE 模型 Muse Spark Open 的 Day-0 推理支持

摘要

SGLang 团队宣布为 Meta 开源的 Muse Spark Open 提供 Day-0 推理支持。该模型为多模态 MoE 架构,拥有 816B 参数、约 42B 激活参数和 1M token 上下文,权重提供 NVFP4 与 BF16 两种格式。

SGLang 团队今日宣布,已对 Meta 开源的多模态 MoE 模型 Muse Spark Open 实现 Day-0 推理支持。这意味着该模型在发布当日即可在 SGLang 推理框架上运行,为开发者省去了等待适配的时间。

Muse Spark Open 的规模值得关注:总参数量达到 816B,采用 MoE 架构,推理时激活约 42B 参数。同时,模型支持 1M token 的超长上下文,定位于多模态场景。这些规格使其成为当前开源模型中体量较大的选项之一。

在权重格式方面,官方提供了 NVFP4 和 BF16 两种选择。NVFP4 格式有助于降低显存占用、提升推理效率,而 BF16 则面向对精度要求更高的场景。两种格式并存,方便不同硬件条件和业务需求的团队按需选用。

SGLang 的 Day-0 支持意味着,有意尝试 Muse Spark Open 的团队可以直接基于 SGLang 搭建推理服务,无需自行处理模型适配。对于关注大参数多模态 MoE 模型落地的从业者而言,这一组合提供了可立即验证的技术路径。

SGLangMuse Spark OpenMoE多模态
本文由新大陆基于公开信息编辑整理
213
收录 AI 工具
23
模型产品档案
60
企业落地案例
13
完整版提示词