快讯 23:19Alphabet三季度财报披露AI搜索变现能力偏低,股价跌近10%23:10研究揭示非英语提示token成本更高,最高相差17倍22:36Wiz 总结智能体攻击七大特征,多起真实入侵案例浮出水面 全部快讯 →

每日快讯

大厂动态 · 融资事件 · 政策监管 · 前沿论文 · Agent 抓取 + 智能改写,每日 40+ 条

大厂 今天 · 星期五 · 10-30 08:00 约 1 分钟读完

vLLM 实现对 Mistral Large 4 的 Day 0 支持,1T 参数 MoE 模型亮相

摘要

vLLM 团队宣布对 Mistral 新旗舰模型 Mistral Large 4 提供 Day 0 支持。该模型为 1T 参数、每 token 激活 49B 的原生多模态 MoE 架构,采用 MLA 稀疏注意力、跨层 KV 共享等多项新技术,并内置 DSpark 推测解码草稿器与 Pixtral 视觉编码器。

推理框架 vLLM 与模型厂商的适配节奏再度提速。vLLM 团队近日宣布,已对 Mistral 新一代旗舰模型 Mistral Large 4 实现 Day 0 支持,即在模型发布当日即可在 vLLM 上运行。

从规模上看,Mistral Large 4 是一个总参数达 1T 的 MoE 模型,每个 token 激活 49B 参数,并原生支持多模态输入。这一配置使其在保持稀疏激活效率的同时,具备处理文本与视觉信息的能力。

架构层面,该模型引入了多项新设计:采用 MLA 稀疏注意力配合 DSA top-k 索引器,支持跨层 KV 共享,并应用 NoPE、SSMax 与 LeRoPE 等技术。此外,模型内置 DSpark 推测解码草稿器以提升解码效率,视觉部分则由 Pixtral 视觉编码器承担。

对 AI 基础设施从业者而言,Day 0 支持意味着新模型发布后即可进入现有 vLLM 推理链路,缩短从模型选型到部署验证的周期。Mistral Large 4 的多项架构创新能否在真实负载下兑现效率收益,仍有待社区实测反馈。

vLLMMistral Large 4MoE多模态
本文由新大陆基于公开信息编辑整理
213
收录 AI 工具
23
模型产品档案
60
企业落地案例
24
完整版提示词