AWS 發布 CDK 構件解決 SageMaker AI 端點自動縮放更新死鎖

背景

Amazon SageMaker AI 是 AWS 提供的機器學習平台，用於訓練和部署模型。當開發者使用 AWS CloudFormation 或 AWS CDK（AWS 雲端發展套件，用於以程式碼定義基礎設施）更新 SageMaker AI 端點設定時，若該端點已註冊自動縮放（Auto Scaling），系統會拒絕更新請求。這是因為 SageMaker AI 要求先註銷可縮放目標（Scalable Target）才能變更端點，但手動註銷後，CloudFormation 會失去對自動縮放資源的追蹤，導致部署失敗或狀態異常。 官方原文・github.com AWS ML Blog

發生什麼事

AWS 於 2026 年 7 月 8 日在 GitHub 發布名為 sample-sagemaker-endpoint-autoscaling 的範例專案。該專案提供一個可重用的 AWS CDK（Python）構件，用於在 SageMaker AI 端點更新期間自動編排 Application Auto Scaling 的註銷與重新註冊流程。 官方原文・github.com

重點內容

該構件使用三個由 Lambda（AWS 無伺服器運算服務，執行短時任務的函式）支援的自訂資源來解決部署死鎖。流程依序為：首先 Deregister（註銷）移除現有可縮放目標，讓 CloudFormation 能更新端點；接著執行 Endpoint Update（端點更新）；然後 Register Scalable Target（註冊可縮放目標）等待端點達到 InService 狀態後重新註冊；最後 Attach Scaling Policy（附加縮放策略）在可縮放目標可查詢後應用目標追蹤策略。 官方原文・github.com AWS ML Blog

Register Scalable Target 和 Attach Scaling Policy 使用 CDK provider 的異步完成模式。每個自訂資源包含一個立即返回的 on_event 處理常式和一個 is_complete 處理常式。Provider 的等待器會每 30 秒重新呼叫 is_complete 處理常式，直到就緒檢查通過。Register Scalable Target 的總超時時間為 1 小時，Attach Scaling Policy 的總超時時間為 15 分鐘。此設計確保等待過程不受單一 Lambda 調用超時限制。 官方原文・github.com AWS ML Blog

每個自訂資源包含一個 ConfigHash 屬性，當設定值變更時強制 CloudFormation 重新調用 Lambda 函式，觸發完整的註銷、更新、註冊及附加策略序列。部署後的堆疊包含三個自訂資源、兩個 Step Functions（AWS 狀態機服務，用於協調多步驟工作流）狀態機和十二個 Lambda 函式。其中五個函式持有構件本身的處理程式碼，其餘七個由 Provider 框架生成。 官方原文・github.com AWS ML Blog

對使用者的意義

開發者可以使用此構件在單一部署中更新端點設定和自動縮放參數，無需手動介入。使用者需具備 AWS CDK v2、Python 3.12 或更高版本、uv（Python 相依性管理工具）以及 SageMaker AI 模型工件在 Amazon S3（AWS 物件儲存服務）或容器映像檔在 Amazon ECR（AWS 容器註冊表）。透過編輯 config/config.yaml 檔案並執行 uv run cdk deploy InferenceStack，即可部署或更新端點。 官方原文・github.com AWS ML Blog

限制與未定事項

該構件以 MIT-0 License 授權。部署時需注意堆疊中會生成額外的 Lambda 函式和 Step Functions 狀態機，這些資源由框架自動生成，開發者無需維護但需計入資源審查。 AWS ML Blog 官方原文・github.com