Dharma AI 預覽 VocabX：SLM 詞彙特化降低 77% 推論成本

背景

當開發者使用 Qwen 或 Gemma 等通用開源模型進行微調以適應特定任務時，這些模型會繼承原本為多領域設計的詞彙表（vocabulary）。這種通用詞彙表在處理單一領域任務時，往往導致分詞碎片化（fragmentation）與冗餘計算。Dharma AI 指出，對於單一領域特化的模型，分詞器可以是最大的成本槓桿之一，且在任何訓練步驟開始前就已設定。 官方原文・Hugging Face Blog

發生什麼事

Dharma AI 在 Hugging Face Blog 上預覽了即將發表的 VocabX 論文結果。該方法透過根據每個 token 的成本而非頻率來特化詞彙表，在不改變基礎模型、數據或訓練配方的前提下，將生產環境中葡萄牙語作文評分系統的推論成本降低了 77%。 官方原文・Hugging Face Blog

重點內容

VocabX 的核心在於區分「讀取」與「生成」的成本差異。在推論的解碼（decode）階段，模型逐個生成 token，每個 token 都需要完整的網路前向傳播，且受記憶體頻寬限制；而在預填充（prefill）階段，模型一次性處理整個輸入，受限於計算能力。在測試案例中，生成一個 token 的成本是讀取一個 token 的 7.4 倍。因此，VocabX 優先壓縮模型回應中的重複片段，例如 JSON 結構或固定評估用語，將其合併為單一宏 token（macro token）。 官方原文・Hugging Face Blog

該方法同時處理子詞層級與多詞層級的壓縮。它使用五種自動搜尋演算法（miners，專門搜尋特定類型重複片段的自動工具）來識別語料庫中重複出現的長詞、整行、表達式、完整句子及標點結構。在合約語料庫測試中，僅透過統計估計替代零增益評估，將 token 減少率從 44.7% 提升至 52.8%。此外，VocabX 將輸出層參數從約 152,000 行減少至約 65,000 行，降低了小型模型在 LM head（將內部狀態轉換為每個可能 token 分數的最後一層）上的計算負擔。 官方原文・Hugging Face Blog

在基於 Qwen3-4B 的葡萄牙語作文評分系統實測中，模型平均回應長度從 350 tokens 降至 101 tokens。推論成本下降 77.0%，而結合評分準確率與離題篩選準確率的基準分數（bench score）則從 0.703 提升至 0.810。 官方原文・Hugging Face Blog

對使用者的意義

Dharma AI 在合約、醫療論文、科學論文、新聞和 Python 代碼這五個公開領域，以及 Qwen3、Llama-3.1 和 Gemma-3 三個模型家族上，比較了 VocabX 與三種參考方法。在所有十五種組合中，VocabX 的壓縮效果均高於三種參考方法中表現最佳者，差距為 1.2 至 9.3 個點。在估算推論成本方面，VocabX 的精簡版本也在所有十五種組合中數值最高，平均高出 Qwen3 10.2 點、Llama-3.1 7.5 點和 Gemma-3 13.6 點。 官方原文・Hugging Face Blog

限制與未定事項

VocabX 目前仍處於論文審查階段，最終數據可能在發表前有所變動。此外，壓縮策略需謹慎處理包含關鍵決策資訊的片段，過度合併可能導致品質下降，例如將評分與 JSON 結構合併為單一 token 曾導致基準分數降至 0.689。 官方原文・Hugging Face Blog