vLLM 实现对 Mistral Large 4 的 Day 0 支持,1T 参数 MoE 模型亮相
摘要
vLLM 团队宣布对 Mistral 新旗舰模型 Mistral Large 4 提供 Day 0 支持。该模型为 1T 参数、每 token 激活 49B 的原生多模态 MoE 架构,采用 MLA 稀疏注意力、跨层 KV 共享等多项新技术,并内置 DSpark 推测解码草稿器与 Pixtral 视觉编码器。
推理框架 vLLM 与模型厂商的适配节奏再度提速。vLLM 团队近日宣布,已对 Mistral 新一代旗舰模型 Mistral Large 4 实现 Day 0 支持,即在模型发布当日即可在 vLLM 上运行。
从规模上看,Mistral Large 4 是一个总参数达 1T 的 MoE 模型,每个 token 激活 49B 参数,并原生支持多模态输入。这一配置使其在保持稀疏激活效率的同时,具备处理文本与视觉信息的能力。
架构层面,该模型引入了多项新设计:采用 MLA 稀疏注意力配合 DSA top-k 索引器,支持跨层 KV 共享,并应用 NoPE、SSMax 与 LeRoPE 等技术。此外,模型内置 DSpark 推测解码草稿器以提升解码效率,视觉部分则由 Pixtral 视觉编码器承担。
对 AI 基础设施从业者而言,Day 0 支持意味着新模型发布后即可进入现有 vLLM 推理链路,缩短从模型选型到部署验证的周期。Mistral Large 4 的多项架构创新能否在真实负载下兑现效率收益,仍有待社区实测反馈。
本文由新大陆基于公开信息编辑整理
信息来源:AIHOT AIHOT原文 ↗