Amazon 推出 TorchNeuron，PyTorch 程式不必重寫即可在 Trainium 執行

發生什麼事

Amazon 推出 TorchNeuron：開發者既有的 PyTorch（常見的 AI 開發框架）程式，官方稱只需一次設定變更、不必重寫，就能原生在 AWS（Amazon 的雲端服務）的 Trainium（AWS 自家 AI 晶片）上執行。官方稱 85% 的 AI 研究者與開發者以 PyTorch 寫程式；TechNews 報導推出日為 10 月 19 日。 TechNews 科技新報 官方原文・aboutamazon.com

官方說明，PyTorch 本身有讓新硬體自行註冊的內建機制，TorchNeuron 接上這個標準機制，因此開發者原本用來測試、除錯與擴展模型的工具，在 Trainium 上不必修改即可使用。Amazon 工程師另做了並排示範：同一份訓練腳本分別在一般晶片與 Trainium 上執行，差別只有指定晶片的設定，結果顯示模型以相同速率學到相同的東西。 官方原文・aboutamazon.com

TorchNeuron 支援 Trainium2 與 Trainium3，並將於 10 月 20 日在 PyTorch Conference North America 以 Apache 2.0（常見的開源授權）釋出。 官方原文・aboutamazon.com

官方列出的周邊配合包括：Amazon 向 PyTorch 上游貢獻修改，與社群移除把框架綁定特定晶片的程式碼；Hugging Face（AI 模型與開發工具平台）已在其工具中啟用原生 Trainium 支援，不需 Amazon 專屬程式碼；TorchNeuron 與 TorchTitan（PyTorch 原生的分散式訓練框架）整合，可用 FSDP（Fully Sharded Data Parallelism，把模型切分到多顆晶片訓練的方式）在 Trainium 執行個體間擴展訓練。 官方原文・aboutamazon.com

誰受影響

官方稱，機器人、影片、世界模型（模擬環境變化的 AI 模型）、自駕車、語音、藥物探索、LLMs（大型語言模型）與金融領域的新創及企業，已在 TorchNeuron 上開發。 官方原文・aboutamazon.com

案例一：Cartesia（以對話起步、打造能像人類一樣從世界學習並互動之智慧的公司）以 PyTorch 原生支援在 Trainium 上執行標準推論流程，PyTorch 程式只做最少改動。 官方原文・aboutamazon.com

案例二：Lieber Institute for Brain Development（研究思覺失調症等神經精神疾病新醫療介入的機構）用生物、化學與語言 AI 模型做藥物標的與藥物探索，並透過 TorchNeuron 在 Trainium 上探索以 AI 加速或取代分子動力學模擬的方法。 官方原文・aboutamazon.com

TechNews 報導，Amazon 表示已有超過 30 家早期客戶使用這項工具，部分客戶回報切換到 Trainium 後可顯著節省成本。 TechNews 科技新報

限制與未定事項

iThome 報導 TorchNeuron 目前為公開測試版，並引述 AWS 指出尚未支援所有 PyTorch 功能：逐項執行模式（程式運作時個別編譯每項運算，方便檢查中間結果）下，未支援的運算可能改由 CPU（中央處理器）執行；編譯模式（用 torch.compile 在首次執行時把多項運算編譯成 Trainium 可執行的程式，後續相同條件不必重新編譯）下可能導致編譯失敗；輸入資料大小或每次處理筆數改變時，也可能需要重新編譯。若程式原本使用 Trainium 舊版專用介面，改用 TorchNeuron 仍須調整。TechNews 也指出第一版仍有部分 PyTorch 功能尚未支援。 TechNews 科技新報 iThome

各方說法

TechNews 將此舉解讀為削弱輝達（NVIDIA，AI 晶片廠商）在 AI 運算市場的軟體優勢，並稱輝達投入十多年打造 CUDA（NVIDIA 的 GPU 軟體生態系）。這是該媒體的解讀；iThome 則指出 AWS 過去已有讓 PyTorch 模型使用 Trainium 的方法，但開發者須配合特定編譯及執行方式調整程式。 TechNews 科技新報 iThome

接下來要看的事

• TorchNeuron 將於 10 月 20 日在 PyTorch Conference North America 以 Apache 2.0 開源釋出