vLLM 首发日即支持 Muse Spark Open,816B MoE 模型瞄准长程编码智能体
摘要
vLLM 宣布与 Meta Superintelligence Labs 合作,在开源 MoE 模型 Muse Spark Open 发布当天提供支持。该模型总参数 816B,每 token 激活 42B,上下文窗口达 1M,面向长程智能体编码工作流,旨在提升复杂编码任务的推理效率。
开源推理引擎 vLLM 近日宣布,已与 Meta Superintelligence Labs 达成合作,在后者开源 MoE 模型 Muse Spark Open 发布的同一天,为其提供 Day 0 支持。这意味着开发者可以在模型上线首日,直接通过 vLLM 部署和运行该模型。
Muse Spark Open 采用混合专家(MoE)架构,总参数量为 816B,但每个 token 仅激活 42B 参数。这种设计在保持大规模参数容量的同时,显著降低了单次推理的计算开销。此外,该模型支持高达 1M 的上下文窗口,能够处理超长序列输入。
从定位来看,Muse Spark Open 主要面向长程智能体编码工作流。这类场景通常需要模型在较长的交互过程中维持上下文一致性,并完成多步骤的代码生成、调试与优化任务。1M 上下文窗口与 MoE 架构的结合,使其在长程任务中具备潜在优势。
vLLM 的 Day 0 支持意味着该模型发布即可投入实际使用,减少了开发者的适配成本。对于关注长程编码智能体的团队而言,这一组合有望加速相关应用的开发与迭代。
本文由新大陆基于公开信息编辑整理
信息来源:AIHOT AIHOT原文 ↗