NVIDIA Cosmos 推出新工具，用於訓練、評估與部署世界模型

背景

世界模型是理解真實世界動態（包括物理、時空關係與環境屬性）的 AI 系統，透過輸入文字、影像、影片、聲音與動作來預測後續發展。NVIDIA Cosmos 是一個開放平台，旨在讓開發者更快建置、特化並部署用於物理 AI 的世界模型。此次更新是為了協助開發者快速建置世界模型，使其能理解並模擬真實世界。 官方原文・NVIDIA Blog 官方原文・nvidia.com 官方原文・nvidia.com

發生什麼事

NVIDIA 擴展了 Cosmos 平台，推出了新的訓練工具、模擬檢查點（checkpoints）以及 Cosmos Data Factory 藍圖。此次更新包括 Cosmos Curator 新增對多模態多感官輸入與處理區塊的支援，以及 Cosmos Data Factory 提供五種雲端原生藍圖，可透過 GitHub、Microsoft Azure、Nebius 和 CoreWeave 存取。 官方原文・NVIDIA Blog

重點內容

Cosmos Data Factory 提供的五種藍圖包括：自動駕駛資料集生成（整理與標註駕駛資料，並添加難以捕捉場景的合成範例以擴大訓練覆蓋範圍）、影像屬性增強（改變物體外觀以改善影像搜尋）、事件影片生成（將靜態圖片轉為罕見或危險事件的合成影片）、缺陷影像生成（生成印刷電路板、金屬和玻璃的缺陷影像供檢查模型使用）以及影片資料增強（在保留場景結構的情況下改變現有影片的氣候與光照）。 官方原文・NVIDIA Blog

在模型訓練與優化方面，NVIDIA 將 Cosmos Framework 的訓練、優化與部署工具及配方作為代理技能（agent skills，讓 AI 代理執行特定任務的能力）擴展至更多開放模型，包括 GR00T、Alpamayo、QWEN、Pi0.5 及其他相容的 Hugging Face 模型。開發者可透過微調和強化學習適應這些模型，並使用蒸餾（distillation，將大模型知識轉移至小模型的技術）和量化（quantization，降低模型數值精度以加速運算的技術）進行優化。 官方原文・NVIDIA Blog

針對模擬與推理，NVIDIA 推出了新的 Cosmos 3 Nano 模型變體，使開發者能在可重複、難以捕捉的多視角多傳感器場景中測試自動駕駛策略。更新後的 NVIDIA Cosmos 3 NIM（微服務，將模型封裝為標準化 API 的部署方式）在驗證配置下提供最高 2 倍更快的推理速度且無品質損失，並支援亞秒級警報的連續影片分析。此外，新的 NVIDIA Metropolis Blueprint for video search and summarization (VSS) 3.3 可讓團隊使用相同的 GPU 監控多 40% 的影片串流。 官方原文・NVIDIA Blog

對使用者的意義

開發者可利用這些工具加速物理 AI 開發流程。例如，Porsche 正在領導開發跨 Volkswagen Group 品牌的共享自動駕駛資料飛輪，使用透過 Voxel51 在 Microsoft Azure 上的 Cosmos Data Factory，預計可減少高達 90% 的重複實體測試駕駛，並縮短高達 85% 的開發週期時間。ANYbotics 使用 Cosmos Data Factory 藍圖生成了超過 1,500 個合成影片片段，整理真實世界資料並透過 Encord 平台驗證輸出，以訓練其工業檢查機器人識別液體洩漏等設施訪問間的變化。Ultralytics 則使用 Cosmos Data Factory 生成的目標合成缺陷與真實影像重新訓練其 YOLO 模型，改善了缺陷定位與召回率。 官方原文・NVIDIA Blog

限制與未定事項

世界模型可能產生視覺上令人信服但物理上不完整的結果，在長時間範圍內累積錯誤，或在罕見或安全關鍵案例中失敗。生產系統因此需要領域資料、動作條件設定、閉環評估、不確定性估計、護欄（guardrails，限制模型行為邊界的機制）和人工審查。 官方原文・nvidia.com