NVIDIA TensorRT 11.1 推出全域效能調校器，支援超過 200 個編譯器參數自動最佳化

背景

TensorRT 是 NVIDIA 推出的深度學習推理優化器，旨在加速模型在 NVIDIA GPU 上的執行效率。在傳統流程中，TensorRT 使用預設的編譯策略來建置引擎，但不同模型、輸入形狀或硬體環境可能需要不同的優化手段。為了突破單一建置路徑的限制，NVIDIA 在 TensorRT 11.1 版本中推出了「全域效能調校器」（Global Performance Tuner），這是一項自動效能調校功能，允許開發者透過調整編譯器參數來探索多種建置路徑，從而找到針對特定模型的最佳效能配置。 官方原文・NVIDIA Developer Blog

發生什麼事

NVIDIA 於 2026 年 10 月 23 日發布技術部落格，詳細介紹 TensorRT 11.1 中全域效能調校器的第二部分內容，重點在於其演算法設計與最佳實踐。該功能將編譯過程中的各種優化選項（稱為 compiler knobs，即改變編譯管線行為的配置設定，如啟發式規則、融合決策或程式碼生成路徑）視為可搜尋的建置路徑。TensorRT 11.1 提供了超過 200 個可用於調校的參數，開發者可透過 trtexec 工具或 C++ API 進行自動調校。 官方原文・NVIDIA Developer Blog

重點內容

全域效能調校器的核心機制是將不同的編譯策略表示為明確且可搜尋的「建置路徑」（build route）。每個參數都有預設值，而一個建置路徑就是一組特定參數值的組合。調校過程會自動展開參數表達式，生成候選路徑列表，並在每次迭代中建置引擎、測量效能與精度。若候選引擎建置失敗或精度超出容許閾值，將被排除在最佳引擎選擇之外。在十個評估的工作負載中，調校後的效能提升幅度介於 1.14 倍至 1.63 倍之間。 官方原文・NVIDIA Developer Blog

該功能採用「精度感知」（accuracy-aware）的調校方式，將精度視為明確的約束條件。開發者需定義精度容許閾值（accuracy threshold），調校器會在滿足精度要求的候選引擎中，選擇端到端效能最佳的那一個。這解決了效能與精度糾纏的問題：精度決定哪些候選方案是可接受的，而效能則用於對這些可接受的方案進行排序。調校支援多種搜尋策略，包括快速搜尋（fast，僅改變單一參數）、完整搜尋（full，笛卡爾積）以及混合搜尋（mixed，先快速掃描再深入探索改進的參數）。 官方原文・NVIDIA Developer Blog

trtexec 工具提供了完整的調校介面，支援從 ONNX 模型建置引擎並執行調校迴圈。使用者可透過 --tuneBuildRoutes 指定參數表達式，並使用 --tuningCacheFile 記錄調校進度，以便在中斷後透過 --continue 恢復執行。此外，trtexec 支援自定義輸入資料、精度驗證演算法（如 L1、L2、LInf 或餘弦相似度）以及多組輸入/參考輸出對的驗證。對於 Windows 平台，調校功能目前不支援。 官方原文・github.com 官方原文・NVIDIA Developer Blog

對使用者的意義

開發者可以利用全域效能調校器針對特定模型和部署環境進行自動化優化，而不必依賴通用的預設策略。透過 trtexec 或 TensorRT 的 C++ API（如 IBuilderConfig::setBuildRoute），開發者可以實作自定義的調校邏輯。調校結果並非通用，最佳建置路徑取決於模型、輸入形狀、目標 GPU 及軟體版本，因此在更換硬體或升級 TensorRT 後需重新調校。 官方原文・NVIDIA Developer Blog

限制與未定事項

調校結果具有高度特定性，最佳路徑僅適用於調校時的模型、硬體與軟體環境，不可直接轉移至其他部署情境。此外，引擎建置並非位元確定性（bit-deterministic），即使使用相同的建置路徑，重新建置可能產生位元略有不同的引擎檔案，因此建議儲存並部署實際建置的引擎檔案，而非僅依賴路徑字串。Windows 平台目前不支援調校功能。 官方原文・NVIDIA Developer Blog 官方原文・github.com