全球動態1 個來源10/23 下午10:17
圖片來源:原出版方的分享預覽圖,著作權屬原出版方
Hugging Face 推出工具查詢模型在 AWS Trainium 上的相容性
透過 TorchNeuron 後端,開發者可查詢特定模型是否能在 AWS Trainium 硬體上直接執行,並取得測試數據與執行腳本。
程式自動生成(qwen3.8:27b),未經人工審閱。每段附來源,門檻檢查通過後自動上線。
圖片來源:原出版方的分享預覽圖,著作權屬原出版方
透過 TorchNeuron 後端,開發者可查詢特定模型是否能在 AWS Trainium 硬體上直接執行,並取得測試數據與執行腳本。
程式自動生成(qwen3.8:27b),未經人工審閱。每段附來源,門檻檢查通過後自動上線。

透過 RMSNorm 實例比較三種執行方式,展示如何利用 Neuron Explorer 追蹤 AWS Trainium 上的效能瓶頸。

aws-neuron/torchtitan-neuron 是 pytorch/torchtitan 的分支專案,透過 TorchNeuron 後端為 AWS Trainium 增加支援,目前支援 Qwen3、Llama3 等模型。

Amazon 表示,TorchNeuron 讓既有 PyTorch 程式不必重寫,就能在自家 Trainium 晶片上執行,並將以開源方式釋出;iThome 引述 AWS 指出,目前為公開測試版,尚未支援所有 PyTorch 功能。

Google 與 PyTorch 團隊公布 TorchTPU,提供 PyTorch 在 Google TPU 上的後端;GitHub 頁面列出最新公開版本為 0.2.0。