10月18日，调研机构SemiAnalysis发布消息称，英伟达在vLLM上游完成了一项针对Kimi K3模型的推理优化。在相同硬件平台GB300 NVL72上，这款参数量达2.8万亿的模型实现了423 tok/s/user（每用户每秒Token）的推理速度，较优化前提升1.68倍。

从技术路径看，该优化由英伟达CentML工程师Benjamin主导完成。其核心手段是大规模Megakernel融合，并借助Cute DSL编写英伟达新推出的解码专用内核。整个Megakernel由1.2万行代码构成，SemiAnalysis将其视为AI辅助生成高级计算内核的一个代表性方向。

值得注意的是，这一改动落在vLLM上游而非模型侧，意味着优化成果有望沿开源推理栈向下游扩散。对依赖vLLM部署大模型的团队而言，此类内核级融合的收益直接体现在单位硬件上的吞吐表现。

除Kimi K3外，英伟达还在为vLLM开发针对DeepSeek V4.1等其他模型的优化，显示其正围绕主流开源模型持续加码推理栈层面的工程投入。