AWS 公布 SageMaker HyperPod 多團隊共用 GPU 叢集參考架構

背景

Amazon SageMaker HyperPod 是 AWS（Amazon Web Services，Amazon 的雲端服務）為生成式 AI（能產生文字、圖片等內容的人工智慧）打造的服務，用來簡化大規模運算叢集的管理。叢集可由 Amazon EKS（Amazon 代管的 Kubernetes 服務；Kubernetes 是自動調度容器化程式的開源平台）或 Slurm（高效能運算常用的工作排程系統）調度，並自動處理節點健康監控與故障復原。AWS 指出，同一公司內越來越多團隊需要共用昂貴的 GPU（圖形處理器，常用於訓練與執行 AI 模型）叢集；缺少良好的多租戶（多個團隊共用同一套系統）設計，會出現資源使用失控、團隊隔離不足、無法把 GPU 成本歸給實際使用的團隊等問題。 AWS ML Blog

發生什麼事

AWS ML Blog 於 10 月 8 日發文，提出在 SageMaker HyperPod 搭配 EKS 上建立多租戶環境的參考架構：以 AWS IAM Identity Center（集中管理員工身分與登入的服務）做集中驗證；每個團隊各有一個 SageMaker AI domain（團隊專屬的工作環境）；以 Kubernetes namespace（Kubernetes 內切分資源的邏輯區隔）隔離工作負載；以 HyperPod Task Governance（管理運算配額與排程優先順序的功能）公平分配資源；並以 namespace 層級的成本分攤做 chargeback（把費用分攤回實際使用的團隊）。範例為 Team A 與 Team B 兩個團隊共用單一叢集。 AWS ML Blog

重點內容

登入有兩條路徑，都經過 Identity Center 入口網站，並與外部身分提供者聯合驗證，例如 Microsoft Entra ID（微軟的企業身分管理服務，原名 Azure AD）。第一條是 CLI（命令列介面，用打字下指令操作電腦的方式）：使用者執行 aws sso login，從團隊的 permission set（權限組合）取得臨時憑證，再用 kubectl（Kubernetes 的命令列工具）送出任務；Identity Center 會替每個 permission set 自動建立 IAM（身分與存取管理，設定誰能用哪些 AWS 資源）角色，例如 TeamA-permissionset-role。第二條是登入團隊專屬 domain 的 SageMaker Studio，從 GUI（圖形化操作介面）送出任務，domain 綁定團隊執行角色，例如 TeamA-role。 AWS ML Blog

在 EKS 端，access entry（把 IAM 角色對應到 Kubernetes 權限的設定）要同時為 Studio 執行角色與 CLI 用角色設定，並關聯代管或自訂的 RBAC（角色型存取控制，依角色決定可執行的操作）政策，範圍限定在團隊的 namespace。因此不論從 Studio 或 CLI 進入，使用者都只能操作自己 namespace 內的資源。 AWS ML Blog

叢集上有兩個共用層：HyperPod Observability 負責監控與儀表板，HyperPod Task Governance 負責運算配額與排程優先順序。各團隊在自己的 namespace 內可執行 HyperPod Spaces（互動式開發環境）、HyperPod PyTorch jobs（分散式訓練工作）與 HyperPod Inference endpoints（模型服務）。儲存分兩層：一是符合 POSIX（類 Unix 系統的檔案操作標準）的 Amazon FSx for Lustre 或 Amazon FSx for OpenZFS，分成團隊目錄（/fsx/TeamA、/fsx/TeamB）與個人家目錄（/home/User1、/home/User2）；二是各團隊或共用的 Amazon S3（Amazon 的物件儲存服務）bucket（儲存桶），由團隊的 IAM 執行角色控管。 AWS ML Blog

對使用者的意義

這份架構適用於同一公司內需共用 GPU 叢集的多個團隊，AWS 舉例包括訓練大型語言模型的資料科學團隊、執行推論的電腦視覺團隊與實驗新模型架構的研究團隊。已用 Microsoft Entra ID、Okta 或 Ping Identity 管理員工身分的企業，可透過 Identity Center 沿用既有身分系統，不必重複建立帳號，使用者能以 SSO（單一登入，一組帳號登入多個系統）進入 SageMaker Studio。 AWS ML Blog

限制與未定事項

這份參考架構針對 HyperPod 的 EKS 調度方式（HyperPod 也支援 Slurm），示範情境為兩個團隊共用單一叢集。 AWS ML Blog