Google 開源 TorchTPU，讓 PyTorch 模型可在 TPU 上執行

發生什麼事

GitHub 專案 google-pytorch/torch_tpu 的說明指出，它為 Google 的 TPU（Tensor Processing Unit，Google 的 AI 加速晶片）提供 PyTorch（開源機器學習框架）後端，讓使用者在 TPU 裝置上執行 PyTorch 模型與運算。專案內容包括 TPU 上的 PyTorch ATen（PyTorch 的底層運算函式庫）核心實作、XLA（機器學習運算用的編譯器）運算執行的編譯快取，以及與 torch.compile()（PyTorch 的編譯最佳化功能）整合的圖模式執行。 官方原文・github.com

分散式訓練支援資料平行（Data Parallelism，把資料分給多個裝置各自計算）與 Tensor 平行（Tensor Parallelism，把模型內的張量運算拆到多個裝置）。專案附有 Llama、Qwen、ResNet、DLRM、minGPT、UNet 等模型的範例，另有除錯與標竿測試工具。 官方原文・github.com

發布時間方面，iThome 報導 Google 與 Meta 旗下的 PyTorch 團隊於週二（來源未給確切日期）在 PyTorch 2026 大會公布 TorchTPU 等產品。TechNews 科技新報則寫 Google 21 日藉 PyTorch Conference 2026 宣布，TorchTPU 現已作為開源專案正式推出。 iThome TechNews 科技新報

誰受影響

依 GitHub 頁面，想安裝的開發者需使用 Python 3.11+，最新公開版本為 PyPI 上的 0.2.0，指令為 pip install torch_tpu==0.2.0。互動式範例筆記本採用 Marimo（類似 Jupyter 的筆記本工具），需在 TPU VM（附 TPU 的虛擬機器）上執行，頁面稱 v6e GCE instance（Google 雲端虛擬機器）最容易。 官方原文・github.com

iThome 指出，開發者可在 TorchTPU 上搭配 vLLM（大型語言模型推論與服務引擎）、SGLang（語言模型服務框架）等工具訓練、部署和提供模型。Google 也與 Hugging Face（開源模型與函式庫平台）合作：在 Transformers v5（Hugging Face 的機器學習函式庫）中，部署模型到 Google Cloud TPU 只要設定 device_map="tpu"；Diffusers（Hugging Face 的擴散模型函式庫）已能原生跑在 Cloud TPU 上。Google 另打造專用 CI/CD（持續整合與持續部署）管線，支援 Transformer 套件在 TPU 上的測試。 iThome

限制與未定事項

GitHub 頁面在「Key Python dependencies」之後只寫 TBD，主要 Python 相依套件清單尚未列出。頁面也寫明，未最佳化建置（-c fastbuild、-c dbg）可能降低效能，且不用於 wheel 建置；安裝時若不加 --extra-index-url https://download.pytorch.org/whl/cpu，會裝到 CUDA（NVIDIA GPU 的運算平台）版的 torch。 官方原文・github.com

各方說法

關於移植門檻，iThome 寫 TorchTPU 可讓現有 PyTorch 工作負載「只需最小程式碼變更」跑在 TPU；TechNews 則寫開發者只要更改簡單的配置即可，「完全不需要重寫程式碼」。GitHub 官方頁面未談移植所需的修改幅度。 iThome TechNews 科技新報

兩家媒體都把 TorchTPU 放在與 NVIDIA 競爭的脈絡下。iThome 寫 Google 希望打破 NVIDIA 龐大的 CUDA 軟體生態系；TechNews 認為 AI 晶片競爭正從硬體效能與成本，延伸到軟體生態系的主導權。AWS 方面，iThome 寫 AWS 日前公布 TorchNeuron，降低 AI 模型轉用 Trainium（AWS 自研 AI 晶片）的門檻；TechNews 寫亞馬遜 19 日推出 TorchNeuron。 iThome TechNews 科技新報

TechNews 另指出，PyTorch 最初由 Meta 在 2016 年開發，2022 年移交 Linux 基金會（Linux Foundation，管理多個開源專案的非營利組織），並引用資料稱高達 85% 的 AI 應用程式使用它。該報導寫 Google 與 Meta、Hugging Face、Inferact（vLLM 開發商）、RadixArk（SGLang 開發商）等直接合作，還推出 TPU agent suite（協助移植並修復錯誤的工具），也更新 LiteRT（Google 的裝置端 AI 執行工具）；TechNews 認為 Google 在部分層面或許更勝亞馬遜一籌。 TechNews 科技新報

接下來要看的事

• GitHub 頁面的主要 Python 相依套件清單目前標示為 TBD，待官方補上