NVIDIA 推出 Minerva AIOps 平台，提升 AI 工廠 GPU 良率

背景

AI 工廠（AI Factory）是極度複雜的運算環境，包含數十萬顆 GPU、NVIDIA Spectrum-X Ethernet 網路架構、NVLink 高速互連以及分散式排程器。在同步分散式訓練中，整個作業的進度取決於最慢的那個節點（rank）。單一 GPU、介面、儲存裝置或交換器路徑的效能下降，即使未觸發靜態閾值警報，也可能導致「灰色故障」（gray failures），造成大量健康資源閒置與生產時間損失。傳統監控工具因資料分散於網路、運算與機器學習團隊，難以關聯這些細微異常，導致排障過程耗時且依賴跨團隊溝通。 官方原文・NVIDIA Developer Blog

發生什麼事

NVIDIA 推出 Minerva，這是一個專為 AI 工廠設計的端到端即時 AIOps（AI 維運）平台。該平台旨在透過預測性維護、作業失敗根本原因分析、噪音減少以及代理式維運能力，提升 AI 工廠的良率。Minerva 收集 GPU、NIC（網路介面卡）、DPU（資料處理單元）、NVLink 和 Spectrum-X Ethernet 的全堆疊遙測資料，並應用專建的機器學習模型與 AI 工廠助理，以改善 GPU 使用時數、叢集正常運行時間、Token 產出量以及平均修復時間（MTTR）。 官方原文・networking-docs.nvidia.com 官方原文・NVIDIA Developer Blog

重點內容

Minerva 的核心在於建立基礎設施與作業的即時知識圖譜（Knowledge Graph）。它自動發現 GPU、交換器、SuperNIC、DPU、儲存裝置、NVIDIA NCCL（網路集合通訊庫）與排程器之間的關係，並隨著環境變化動態更新。這使得網路與運算團隊能從同一個因果地圖出發，例如從異常介面追蹤至受影響的作業，或從作業 ID 回溯至底層硬體證據，無需再對齊各自獨立的清單。 官方原文・NVIDIA Developer Blog

在偵測方面，Minerva 每小時處理數十億筆指標與日誌資料點，結合監督式與非監督式機器學習模型。非監督式模型透過「同儕比較」（peer comparison）識別異常，例如偵測在相同負載下溫度顯著高於同組其他 GPU 的設備，或在持續負載下效能下降的 NVMe 裝置。此外，平台內建名為 Sherlock 的 AI 代理，基於即時遙測資料與知識圖譜，允許維運人員以自然語言查詢根本原因，並提供修復建議。Minerva 還提供 MCP（Model Context Protocol，模型上下文協議）伺服器，讓外部代理工具能查詢相同的維運脈絡。 原文

NVIDIA 內部測試案例顯示，Minerva 能有效處理複雜故障。在一個擁有約 40 萬個介面的 AI 資料中心中，Minerva 從海量遙測資料中定位出單一 NVLink 頻寬損失，將原本需數小時的人工排障縮短至數分鐘。另一案例中，平台透過日誌異常偵測發現罕見的 PCIe 硬體錯誤，在客戶工作負載部署前隔離故障節點，節省數百 GPU 小時。此外，Minerva 將由交換器頁面錯誤引發的 81 個雜訊事件關聯為單一事故，節省約 54 小時的叢集正常運行時間。 原文

對使用者的意義

雲端服務供應商（CSP）與企業可使用 Minerva 來提升 AI 工廠的良率。該平台將傳統需數小時的跨團隊排障流程轉化為數分鐘的引導式調查，透過將冗餘事件合併為單一高保真事故，減少警報噪音並縮小搜尋範圍。維運人員可透過平台 UI 或現有工作流程消費這些事故資訊，並利用 Sherlock 代理獲得領域知識支援，降低對專家升級的依賴。 官方原文・networking-docs.nvidia.com 官方原文・NVIDIA Developer Blog

限制與未定事項

NVIDIA Minerva 正與 NVIDIA DSX OS 進行整合開發，計畫將部分健康與韌性元件（如 NVIDIA Attribution）整合至 DSX OS。Minerva 的資料收集器等能力將成為 DSX OS 的開源部分，提供模組化的遙測基礎。 官方原文・NVIDIA Developer Blog