Google 推出 TorchTitan TPU 分叉,PyTorch 模型可在 Cloud TPU 原生训练
摘要
Google 发布 TorchTitan TPU 分叉,配合 TorchTPU 原生后端,让 PyTorch 模型可直接在 Cloud TPU 上训练。该分叉集成 SimpleFSDP、Graph Trainer、Pallas 内核,并附带模型优化 Playbook,为 PyTorch 生态接入 TPU 提供完整工具链。
Google 在 PyTorch 生态与自家 TPU 硬件的衔接上再进一步。近日,Google 发布了 TorchTitan 的 TPU 分叉版本,代码托管于 google-pytorch/torchtitan 仓库,目标是让开发者能够以 PyTorch 原生方式在 Cloud TPU 上完成模型训练。
这一分叉的核心依托是 TorchTPU 原生后端。通过该后端,PyTorch 模型无需脱离原有开发范式即可运行在 Cloud TPU 之上,降低了在 TPU 环境部署 PyTorch 工作负载的门槛。
在功能层面,该版本集成了多项训练优化组件,包括 SimpleFSDP、Graph Trainer 与 Pallas 内核。这些组件分别面向不同的训练环节,覆盖从并行策略到内核实现的优化需求。
除代码实现外,Google 还同步提供了模型优化 Playbook,为开发者调优 TPU 上的 PyTorch 训练提供参考路径。整体来看,这一发布将 TorchTitan 的训练框架能力与 TPU 硬件支持打包成一套相对完整的方案,对关注 PyTorch 跨硬件部署的从业者具有直接参考价值。
本文由新大陆基于公开信息编辑整理
信息来源:AIHOT AIHOT原文 ↗