Transformers v5.16.1 加入 GLM-5.3-Flash

背景

Transformers 是開發者用來載入與執行各種 AI 模型的開源程式庫。這次的 v5.16.1 是一次小幅修補版本。發布說明稱它為「special release」，原因是這一版納入了 GLM 模型，另外附帶幾項小修正。 官方原文・Transformers Releases

發生什麼事

Transformers 在 2026 年 8 月 26 日發布 v5.16.1，變更範圍是從 v5.16.0 到 v5.16.1。這一版新增 GLM-5.3-Flash 模型，並包含兩項列在清單上的小修補。 官方原文・Transformers Releases

重點內容

依發布說明，GLM-5.3-Flash 是 GLM-5 系列第一個原生多模態（模型從設計起就能處理文字、影像等多種資料型態）的模型。它的總參數為 320B，啟用參數（每次運算實際參與計算的參數）只有 18B。發布說明表示，它在各項 benchmark（基準測試，用固定題目比較模型能力的評測）與實際工作負載上都勝過 GLM-5.2，價格是 GLM-5.2 的十分之一。在程式撰寫與 agentic（模型自行規劃並執行多步驟任務）基準測試上，它的表現接近 Claude Opus 4.8。 官方原文・Transformers Releases

架構方面，GLM-5.3-Flash 從一個新訓練的 base model（基礎模型，尚未針對特定用途調整的模型）出發，架構與訓練方法都圍繞能力與效率重新設計。這是 GLM 系列首次採用混合架構，結合 sparse attention（稀疏注意力，只計算部分位置之間關聯的注意力機制）與 linear attention（線性注意力，計算量隨內容長度線性增加的注意力機制）。發布說明指出，這個設計能大幅降低長上下文（一次輸入很長的內容）的服務成本，同時保留精確的長上下文能力。模型也採用 Manifold-Constrained Hyper-Connections（mHC），用來進一步提升擴展效率。訓練資料方面，它使用 30T-token 的多模態預訓練（先在大量資料上做通用訓練）語料，token 是模型處理資料的基本單位。發布說明的說法是，這些改變讓模型用更少的運算量提供更多智慧。 官方原文・Transformers Releases

修補部分，發布說明的摘要提到兩個重點。第一個是 TP（tensor-parallel，張量平行，把模型的大型運算切開，分給多個裝置同時計算）的 BC（backward compatibility，向下相容，讓舊程式碼在新版本仍能照常運作）。第二個是基於安全理由，pin（固定在特定版本，不隨來源更新而改變）一個 hf（Hugging Face 的縮寫）kernel（在硬體上執行特定運算的底層程式）。變更清單列出兩項。一是恢復 tensor-parallel API（應用程式介面，程式之間互相呼叫的規格）的向下相容，編號 #48300，由 @ArthurZucker 提交。二是修正 ESMFold2（Transformers 支援的模型之一）的 kernel commit（程式碼儲存庫中的一次提交紀錄）與 repo（程式碼儲存庫）路徑，編號 #48186，由 @Rocketknight1 提交。 官方原文・Transformers Releases

對使用者的意義

使用 Transformers 的開發者，在這一版可以使用 GLM-5.3-Flash，發布說明附有該模型的 Documentation（說明文件）連結可供參考。已經在程式中呼叫 tensor-parallel API 的使用者，這次修補恢復了向下相容。使用 ESMFold2 的使用者，則會拿到修正後的 kernel commit 與 repo 路徑。 官方原文・Transformers Releases

限制與未定事項

GLM-5.3-Flash 的效能描述來自發布說明本身，比較對象是 GLM-5.2 與 Claude Opus 4.8。其中「接近 Claude Opus 4.8」的說法，只限於程式撰寫與 agentic 基準測試。 官方原文・Transformers Releases