SageMaker AI 推出免管理 GPU 的模型自訂訓練會話

背景

取得實際成果的企業不僅使用現成的基礎模型（Foundation Models, FMs），還使用強化學習等後訓練技術自訂開放權重模型。然而，模型自訂過程複雜，需要選擇合適技術、建置並管理 GPU 基礎設施，甚至為代理式應用建立多輪強化學習環境。AWS 先前推出了 SageMaker AI 無伺服器模型自訂功能，此次進一步擴展該服務。 AWS ML Blog

發生什麼事

AWS 於 2026 年 10 月 22 日宣布 SageMaker AI 的「訓練會話」（training sessions）功能正式可用（general availability）。此功能允許開發者控制後訓練邏輯，同時由 SageMaker AI 處理 GPU 配置、分散式執行、故障恢復及檢查點儲存等基礎設施任務。 AWS ML Blog

重點內容

開發者可使用監督式微調（SFT）、直接偏好優化（DPO）、RLVR（以可自動驗證對錯的答案當獎勵的強化學習）、RLAIF 或多輪強化學習等技術。支援低秩適應（LoRA）或全量微調，並可透過連續自訂串接多種技術。AWS 提供訓練會話食譜（cookbook）及模型自訂代理技能，使用者描述用例後，代理可處理資料準備、技術選擇、訓練、評估與部署。該代理可在 SageMaker Studio、Kiro、Claude Code、Codex 或 GitHub Copilot 中運作。 AWS ML Blog

在運作機制上，開發者的程式碼執行訓練迴圈與獎勵函數，並連接代理至工具或模擬器。SageMaker AI 負責 GPU 密集型工作：採樣器生成回應，訓練器計算梯度並更新模型權重。以群體相對策略優化（Group Relative Policy Optimization, GRPO）為例，流程包括：採樣器為每個提示生成多個回應；獎勵函數在開發者環境中對回應進行評分；訓練器根據分數計算梯度並更新權重；最後刷新採樣器並重複此過程直至訓練完成。 AWS ML Blog

計費方式為按 SageMaker AI 處理的 token 數量付費。當獎勵函數在開發者環境中對批次進行評分時，計費暫停。無需預留容量。資料與模型權重保留在開發者選擇的 AWS 區域內的 Amazon S3 儲存桶中，AWS 不會使用這些資料或權重訓練其他模型。部署前可評估準確性、偏見與安全性，部署後可應用護欄並透過 Amazon CloudWatch 監控。 AWS ML Blog

對使用者的意義

此功能適合需要自訂模型以適應特定業務情境（如醫療索賠分級、代理式工具呼叫）的開發者與企業。使用者無需管理 GPU 集群或分散式訓練配置，可直接在 IDE 中安裝 SageMaker Python SDK（需 Linux 或 macOS，Python 3.10 至 3.12），或在 SageMaker Studio 中啟動開發環境開始使用。目前支援 gpt-oss-20b、gemma-4-31B-it、Qwen3.6-27B 和 Qwen3.8-27B 模型。 AWS ML Blog