Transformers v5.21.0 發布：新增 MiniCPM-OCR 與 Flint 模型，強化平行處理

背景

Hugging Face Transformers 是一個廣泛使用的開源程式庫，提供多種預訓練模型的載入與微調功能。此次 v5.21.0 版本發布旨在擴展對新架構模型（如 OCR 專用模型、混合專家模型）的支援，並優化底層的記憶體管理與平行運算效率，以適應日益複雜的模型需求。 官方原文・Transformers Releases

發生什麼事

Hugging Face 於 2026 年 10 月 26 日發布 Transformers v5.21.0 版本。此次更新重點包括新增對 MiniCPM-OCR、Flint、UltraVBert、Gradium Phonon TTS 及 Pocket TTS 等模型的支援，並引入 FP8 量化後端與張量平行處理的改進。 官方原文・Transformers Releases

重點內容

新增的 MiniCPM-OCR 來自 OpenBMB 的 MiniCPM-V 系列，專為閱讀文字密集圖像（如掃描頁、截圖、收據和表格）設計。它沿用 MiniCPM-V 4.6 架構，結合 SigLIP 視覺編碼器與 Qwen3.5 語言模型。另一新模型 Flint 是 Recursive 推出的混合專家（MoE，Mixture-of-Experts，一種將模型分為多個專家子網路的架構）語言模型，採用混合注意力機制，多數層使用滑動視窗注意力，其餘層使用全注意力。 官方原文・Transformers Releases

在語音合成方面，新增 Gradium Phonon TTS 與 Pocket TTS。Pocket TTS 是 Kyutai 推出的 100M 參數模型，可在 CPU 上以快於即時的速度運行，並支援從錄音克隆聲音。Gradium Phonon TTS 則使用預計算的潛變數（latent，模型內部的高維特徵表示）進行聲音條件化，無法直接從錄音克隆。此外，QuantizedCache 新增「fp8」後端，允許以 torch.float8_e4m3fn 格式儲存 KV 狀態（Key-Value Cache，注意力機制中快取的鍵值對），需設定 cache_implementation="quantized" 與 cache_config={"backend": "fp8"} 啟用。 原文

平行處理方面，張量平行（Tensor Parallelism，將模型權重分散到多個裝置的技術）現在為嵌入層（Embedding，將離散符號轉換為連續向量的層）提供專屬樣式，並預設對輸入嵌入進行分片。ColwiseParallel 和 RowwiseParallel 現在僅應用於線性層，自訂的平行計畫需調整以符合新規範。此外，所有 MoE 的張量平行與專家平行（Expert Parallelism，將不同專家分散到不同裝置）計畫現在都會對專家進行分片，以避免記憶體浪費。 原文

對使用者的意義

開發者現在可以直接在 Transformers 中使用 MiniCPM-OCR 處理文件掃描與表格識別，或利用 Flint 模型進行高效能語言任務。對於資源受限的環境，Pocket TTS 提供了可在 CPU 上運行的語音合成選項，而 FP8 量化後端則有助於降低大型模型推理時的記憶體佔用。需注意，自訂的張量平行計畫可能需要修改程式碼以適應新的嵌入層分片規則。 官方原文・Transformers Releases

限制與未定事項

Gradium Phonon TTS 的聲音條件化使用未發布的說話者編碼器，因此聲音必須以預計算的潛變數形式提供，無法直接從錄音檔進行聲音克隆。此外，Python 最低版本要求已升級至 3.11。 官方原文・Transformers Releases