背景
NVIDIA Dynamo 是一個分散式推理框架，用於協調 GPU 工作者（worker）之間的模型服務。在 Kubernetes 上部署 Dynamo 僅是第一步，成功的模型部署還需要 GPU 驅動程式、資源分配、排程、網路和監控等基礎設施協同運作。解決這些依賴關係會佔用測試模型行為、服務效能和應用程式整合的時間。 官方原文・NVIDIA Developer Blog
發生什麼事
NVIDIA 發布了 NVIDIA AI Cluster Runtime (AICR)，這是 NVIDIA DSX AI Factory Platform 的一部分。AICR 將 NVIDIA Dynamo 及其支援基礎設施打包成「經驗證的配方」（validated recipes）。每個配方定義了特定環境和工作負載的配置，包括固定的元件版本、相容性約束和驗證檢查，為平台團隊提供可重複的部署與檢查方式。 官方原文・NVIDIA Developer Blog
重點內容
AICR 的 Dynamo 配方包含 dynamo-platform chart（固定版本 1.4.2），其中涵蓋 Dynamo operator、runtime images 以及 DynamoGraphDeployment CustomResourceDefinition (CRD，自訂資源定義，Kubernetes 中用於擴展 API 的機制)。v1beta1 版本取代了舊有的 v1alpha1 API 版本。配方還打包了 NVIDIA GPU Operator、Node Feature Discovery、DRA Driver for NVIDIA GPUs、KAI Scheduler、Grove、NVSentinel、Nodewright、Prometheus stack 以及 agentgateway 等基礎設施元件。 官方原文・NVIDIA Developer Blog
Dynamo 在 Kubernetes 上支援兩種路由路徑。路徑一使用 Dynamo Frontend router，這是預設路徑，適合擁有模型專屬端點的應用團隊，其拓撲最小且生產環境驗證最充分。路徑二整合 Kubernetes Gateway API 和 Gateway API Inference Extension (GAIE)，由 Gateway 處理入口流量，Dynamo Endpoint Picker Plugin (EPP，負責在 Gateway 層選擇最佳端點的元件) 處理端點選擇，適合由平台團隊管理共享 Kubernetes 入口的場景。在 Dynamo 1.4.2 中，預設的 AICR Kubernetes 路徑使用 TCP 處理請求，使用 ZMQ（ZeroMQ，一種輕量級訊息佇列通訊庫） 處理 KV-cache（Key-Value 快取，儲存模型推理過程中已計算的鍵值對以加速後續生成） 事件。 原文
AICR 的部署流程分為五步：快照叢集狀態、生成 Dynamo 推理配方、渲染 runtime bundle、部署 runtime、以及驗證安裝的 runtime。驗證檢查涵蓋叢集基準、平台健康狀態、加速器存取、排程與擴展、可觀測性以及入口流量。例如，針對 Amazon EKS 上的 NVIDIA GB200 NVL72 系統，AICR v1.0.0 選定的 Helm chart 版本包括 NVIDIA GPU Operator v26.7.1、KAI Scheduler v0.16.9 和 Dynamo Platform 1.4.2。 原文
對使用者的意義
AICR 和 NVIDIA Dynamo 是 NVIDIA DSX AI Factory Platform 的開源元件。在 Kubernetes 上部署 Dynamo 的團隊可以使用 AICR 的配方和部署範例來配置、部署和驗證支援其推理工作負載的基礎設施。這讓開發者能獲得一致的基礎設施來服務模型和測試應用程式，將時間從解決基礎設施依賴轉移到測試模型行為和效能上。 官方原文・NVIDIA Developer Blog
限制與未定事項
Dynamo 1.4 的 GAIE 路徑使用 Go EPP framework 與透過 CGO（Go 語言用於呼叫 C 語言程式碼的機制） 嵌入的 Dynamo Rust KV router。從 Dynamo 1.5 開始，將由原生 Rust EPP 取代 Go/CGO bridge，直接實作 GAIE 的 Lightweight Endpoint Picker 介面，並使用 DYN_* 環境變數取代 eppConfig 插件。此外，AICR 的某些驗證步驟（如效能驗證）需要部署臨時服務工作負載並消耗測試中的 GPU，因此與部署和一致性驗證分開執行。 官方原文・NVIDIA Developer Blog
