StepFun 发布 600B MoE 开源模型 Step 5 Preview,GB300 单卡推理近 8K tokens/s
StepFun 展示 Step 5 Preview 在 NVIDIA GB300 上的推理性能,该模型为其最大规模开源权重发布,采用 600B MoE 架构,支持最长 24 小时 Agent 任务,NVFP4 精度下单 GPU 吞吐近 8K tokens/sec,并已提供 NVFP4 checkpoint 及多种部署工具支持。
StepFun 近日对外展示了其最新模型 Step 5 Preview 在 NVIDIA GB300 平台上的推理表现。该公司表示,该模型在 GB300 上运行出色,并期待开发者基于其构建应用。这一展示通过转发 NVIDIA 的相关内容对外披露。
根据 NVIDIA 方面的信息,Step 5 Preview 是 StepFun 迄今为止规模最大的开源权重发布,采用 600B MoE 架构,能够处理最长 24 小时的 Agent 任务。在 GB300 上,该模型使用 NVFP4 精度可实现接近 8K tokens/sec/GPU 的推理吞吐。
配套资源方面,StepFun 已提供 NVFP4 checkpoint,托管于 Hugging Face 平台。该模型同时支持 SGLang、vLLM、NeMo Automodel 后训练以及 NVIDIA NIM 一键部署,为开发者提供了多种集成与部署路径。
从行业角度看,600B 级 MoE 模型在单 GPU 上达到近 8K tokens/s 的推理速度,结合对长时 Agent 任务的支持,反映出大模型推理效率与部署便利性正在同步提升。StepFun 此次开源权重发布,也为 MoE 架构在实际生产环境中的落地提供了新的参考。