AWS 發布 EKS Ray Train DLC 分散式訓練範例

背景

Ray Train Deep Learning Container（DLC，由 AWS 組裝並測試的預建映像檔）內含 Ray、PyTorch、CUDA 及 EFA 網路堆疊。此範例旨在展示如何在 Amazon EKS 上無需自行建置映像檔，即可執行多節點分散式訓練任務。 AWS ML Blog 官方原文・github.com

發生什麼事

AWS 於 2025 年 6 月 30 日在 GitHub 發布了 sample-aws-deep-learning-containers 倉庫中的 ray-train 範例。該範例使用 Ray Train DLC 在 Amazon EKS 上執行分散式 PyTorch FSDP 訓練任務，跨兩個 GPU 節點運行。 官方原文・github.com

重點內容

範例使用兩台 g6.12xlarge 實例，每台配備 4 顆 NVIDIA L4 GPU、48 vCPU 及 192 GiB 記憶體。訓練任務為對 Qwen/Qwen2.5-1.5B 模型進行全參數微調，使用 PyTorch FSDP（Fully Sharded Data Parallel，將模型參數、梯度及優化器狀態分片至所有 GPU 的技術）執行。總共 8 個 Ray Train workers（WORLD_SIZE=8），每節點 4 個 workers。 AWS ML Blog 官方原文・github.com

DLC 映像檔標籤為 public.ecr.aws/deep-learning-containers/ray:train-ml-cuda-v1.1，內含 Ray 2.58.0、PyTorch 2.13.0、CUDA 13.0.2 及 NCCL 2.29.7。網路堆疊包含 EFA、libfabric 及 aws-ofi-nccl，這些元件已預先建置並版本匹配，無需使用者自行編譯或調整相依性。 原文 AWS ML Blog

驗證標準包括：兩節點均宣告 GPU 及 EFA 資源、任務成功排程與執行、NCCL 選擇 EFA 而非 sockets、EFA 的 RDMA 能力存在（worker logs 顯示 NET/OFI Selected provider is efa，且 fi_info -p efa 報告 FI_RMA/FI_EP_RDM）、任務完成並輸出 SUCCESS。範例明確指出 g6.12xlarge 支援網路層級 RDMA，但不具備 GPUDirect RDMA（需 p4d/p4de/p5/p5e/p5en/p6/trn1 實例）。 官方原文・github.com

對使用者的意義

開發者可使用此範例在 EKS 上快速部署分散式訓練環境，無需處理 CUDA、NCCL 及 EFA 驅動相容性問題。透過 KubeRay operator 管理 RayCluster，使用者只需設定實例類型、GPU 數量及網路參數即可啟動訓練任務。 官方原文・github.com AWS ML Blog

限制與未定事項

範例僅驗證基礎設施層級正確性，不保證訓練品質或收斂。在 2x g6.12xlarge 規模下，EFA 與調優後的 TCP sockets 效能相近，無顯著速度提升。EFA 流量無法跨可用區（AZ），因此節點必須位於同一 AZ。運行成本約為每小時 9.50 美元（含 GPU 節點、EKS 控制平面及 NAT Gateway）。 官方原文・github.com AWS ML Blog