快讯 23:38乐奇Rokid香港开设全球首家AI眼镜无人体验店,主打自助沉浸式零售23:30阶跃星辰 Step 5 Preview 登陆 FeatherlessAI,FP8 精度开放部署23:19英伟达推出1200亿参数Nemotron 3.5 Super VL,单GPU智能体吞吐量提升5倍 全部快讯 →

每日快讯

大厂动态 · 融资事件 · 政策监管 · 前沿论文 · Agent 抓取 + 智能改写,每日 40+ 条

论文 今天 · 星期五 · 10-16 08:00 约 1 分钟读完

vLLM 首日适配 Reflection Beam 501B MoE,Blackwell 平台完成优化

摘要

vLLM 宣布对 Reflection 的 Beam 模型实现 Day 0 支持。该模型为 501B 参数 MoE 架构,每 token 激活 23B 参数,并已在 NVIDIA Blackwell 平台完成优化,意味着相关推理部署可在模型发布首日直接落地。

推理框架 vLLM 近日宣布,已对 Reflection 推出的 Beam 模型提供 Day 0 支持,即在该模型发布首日即可完成适配。这一动作延续了 vLLM 对新模型快速跟进的一贯节奏,也为其用户省去了自行适配的等待周期。

从模型规格看,Beam 采用 MoE(混合专家)架构,总参数量达到 501B,但每个 token 仅激活 23B 参数。这种稀疏激活设计在保持大模型容量上限的同时,将单次推理的实际计算量控制在相对较低的水平,是当前大参数模型兼顾性能与成本的主流路径之一。

vLLM 方面还表示,该支持已在 NVIDIA Blackwell 平台上完成优化。这意味着在最新一代 GPU 硬件上,Beam 模型的推理部署可以直接获得经过调优的运行表现,而不必依赖后续的补丁或社区贡献。

对 AI 基础设施团队而言,Day 0 支持配合 Blackwell 优化,缩短了从模型发布到生产可用的链路。501B 级别的 MoE 模型能否高效落地,推理框架与硬件的协同适配往往是关键一环,此次适配为后续同类模型的部署提供了可参考的样本。

vLLMReflection BeamMoENVIDIA Blackwell
本文由新大陆基于公开信息编辑整理
213
收录 AI 工具
23
模型产品档案
60
企业落地案例
13
完整版提示词