TorchTPU开源：PyTorch代码基本不改就能跑在谷歌TPU上

谷歌云和 Meta 的 PyTorch 团队合作做的 TorchTPU，正式在 GitHub 开源了。

开源之后，TPU 在 PyTorch 里的地位跟 GPU、CPU 并列，是原生后端选项。按官方说法，现有代码几乎不用改就能跑。

生态也跟上了一批：vLLM、SGLang、llm-d、TorchTitan 已经接入，Hugging Face Transformers v5 可以直接把模型部署到 TPU 上。

做过 TPU 的人应该知道这一步有多关键。

以前在 TPU 上跑 PyTorch，走的是 PyTorch/XLA 这条路，能用，但总有些算子不支持、性能调不上去、报错信息看不懂的问题，很多团队试一试就退回 CUDA 了。谷歌自家主推的是 JAX，而业界绝大多数模型代码是 PyTorch 写的，这道鸿沟一直是 TPU 推不开的主要原因。

TorchTPU 等于谷歌放下身段，主动去迎合 PyTorch 用户。

对英伟达的冲击不会立刻显现。CUDA 生态积累了十几年，各种自定义内核、优化库不是一个后端开源就能替代的。但对推理场景，尤其是已经在用 vLLM、SGLang 部署的团队，换一块更便宜的卡试试，成本突然低了很多。

这周英伟达被曝不让用 AMD、TPU 的小云厂商参会，时间点放在一起看，挺有意思。