Google推出TorchTPU原生推理引擎 支持vLLM与SGLang部署TPU
摘要
Google在PyTorch相关公告中发布基于TorchTPU的vLLM和SGLang原生PyTorch推理引擎，分别与Inferact、RadixArk合作开发。开发者可借助熟悉的PyTorch工具链在TPU上部署模型，降低跨平台迁移成本。
Google在PyTorch相关公告中公布了两款面向TPU的原生PyTorch推理引擎，分别基于vLLM与SGLang构建，统一置于TorchTPU项目之下。这意味着TPU上的模型部署开始向PyTorch生态进一步靠拢。
从合作方式看，两款引擎并非由Google单独完成：vLLM方向与Inferact合作开发，SGLang方向则联手RadixArk。公告未披露具体性能指标或发布时间表。
技术层面的关键变化在于工具链的衔接。开发者可以直接使用熟悉的PyTorch工具在TPU上部署模型，无需为推理环节切换到另一套独立技术栈，从而减少跨平台迁移中的适配工作。
对AI行业从业者而言，这一动作的价值在于降低TPU推理的使用门槛。PyTorch是主流训练框架，原生推理引擎的补齐有助于让训练与部署在同一生态内衔接，TPU在推理场景中的可及性也随之提升。
本文由新大陆基于公开信息编辑整理
信息来源：AIHOT AIHOT原文 ↗