NVIDIA TensorRT 11.1 推出全域效能調校器

背景

TensorRT 是 NVIDIA 用於在 GPU 上進行高效能深度學習推論的 SDK（軟體開發套件）。當 TensorRT 將神經網路編譯為引擎時，會進行圖形轉換、融合、實作選擇、記憶體佈局及量化等決策，這個過程稱為排程。不同的排程選擇可能產生截然不同的推論效能，且單一策略無法適用於所有模型與部署環境。 官方原文・NVIDIA Developer Blog 官方原文・github.com

發生什麼事

NVIDIA 在 TensorRT 11.1 版本中發布了 Global Performance Tuner（全域效能調校器）功能。此功能旨在解決傳統基於啟發式規則的排程策略在面對多樣化模型時遇到的擴展性問題，例如規則累積導致維護困難、效能與精度相互牽制，以及難以針對特定硬體或模型進行最佳化。 官方原文・NVIDIA Developer Blog

重點內容

Global Performance Tuner 的核心機制是將編譯過程建模為一系列可自訂的「建置路徑」（build route）。它不再依賴單一固定的排程策略，而是生成一個包含多種候選解的豐富解空間。對於每個候選解，系統會驗證其輸出是否符合指定的精度標準，並測量端到端的推論效能。最終，演算法會從所有滿足精度要求的候選解中，選擇執行時間最低的那一個。 官方原文・NVIDIA Developer Blog

該功能遵循三個主要原則：首先是精度感知調校，將端到端精度作為約束條件來指導效能最佳化；其次是可自訂建置路徑，允許排程決策根據模型和部署環境進行調整；最後是構建大型解空間，確保在滿足數值差異容許範圍內，能選出執行時間最低的可行解。 官方原文・NVIDIA Developer Blog

對使用者的意義

對於需要在不同硬體平台或針對特定模型優化推論效能的開發者而言，Global Performance Tuner 提供了一種自動化的最佳化途徑。使用者可以透過設定精度容許度，讓 TensorRT 自動搜尋並選擇在該約束下執行時間最低的可行解。NVIDIA 建議參考 Global Performance Tuner 的文件以了解具體使用方式。 官方原文・NVIDIA Developer Blog

限制與未定事項

來源指出，在實際實現中，候選解的生成、剪枝、剖析和選擇可能緊密耦合，導致演算法邊界不明確。此外，搜尋演算法可能因啟發式過濾或局部剖析與端到端執行環境差異（如 NVIDIA Blackwell GPU 上的自適應網格大小技術）而選出次優解。NVIDIA 表示這是兩部分系列文章的第一部分，第二部分將描述演算法和架構設計及最佳實踐。 官方原文・NVIDIA Developer Blog