ConwayResearch 把 Qwen3.8-27B 壓到 7.89 GB

背景

Underdog Saluki 27B 1.0 的基礎模型是 Qwen3.8-27B（這次調校與壓縮的原始模型）。依模型卡，完整尺寸版本為 54 GB。這次發布的是 GGUF（llama.cpp 使用的單一檔案模型格式）檔案。它可以直接在 stock llama.cpp（未經修改的 llama.cpp，一套在本機執行大型語言模型的開源程式）和以它為基礎的應用程式上執行。模型卡寫明，這次發布的目的是把 Qwen3.8-27B 放進 8 GB 以內，並經過調校，讓 tool calling（工具呼叫，模型輸出結構化指令去呼叫外部函式或工具）的能力維持完整。 Hugging Face 熱門模型

發生什麼事

ConwayResearch 在 Hugging Face（模型與資料集分享平台）發布 Underdog Saluki 27B 1.0。截至本站記錄時（10 月 8 日），這個模型列在 Hugging Face 熱門模型中。主檔案為 Underdog-Saluki-27B-1.0-IQ2-mix.gguf，大小 7.89 GB。檔名中的 IQ2-mix 是量化格式標示：量化是用較少位元儲存模型權重來縮小檔案，IQ2 屬於約 2 位元的等級，mix 指混合使用不同精度。模型卡也寫明，可以到 underdog.ai 試用 Saluki。 Hugging Face 熱門模型

重點內容

以下工具呼叫成績都是模型卡自報。Underdog Bench（發布者使用的工具呼叫測驗）是從 BFCL v4（Berkeley Function Calling Leaderboard，評比模型函式呼叫能力的排行榜）抽出的 120 題，發布者表示，題目在測試任何模型之前就已固定。測試條件為關閉 thinking（模型先產生推理過程再作答的模式）、temperature（控制輸出隨機程度的參數）設為 0。結果是 Saluki 通過 88 題，完整尺寸 Qwen3.8-27B 通過 84 題，5.95 GB 的 Bonsai 2 通過 70 題。另一項測試使用 100 題 BFCL v4 parallel tool calls（平行工具呼叫，一次回覆中同時呼叫多個工具）任務，以官方檢查程式評分並關閉 thinking，Saluki 得 42、完整尺寸得 35。 Hugging Face 熱門模型

模型卡另外自報了代理、指令遵循、程式與推理成績。前面是 Saluki，後面是完整尺寸；完整尺寸數字標有 public 的，是公開數字。各項結果如下：SWE-bench Verified（以修復真實軟體專案問題衡量程式能力的評測，模型卡欄位標示為 50 issues fixed）30 對 33；IFEval（檢查模型是否照指令要求作答的評測，採 prompt-loose 這種較寬鬆的判定）93.5 對 91.5；IFBench（另一套指令遵循評測）72.7 對 71.0；MBPP+（Python 程式題評測）78.0 對 83.9；MuSR（多步推理評測）67.5 對 79.6；AIME 2025（美國數學邀請賽題目，avg@4 指跑 4 次取平均）79.2 對 96.7。發布者表示，Saluki 在 9 項基準上平均保留了完整尺寸模型 96% 的成績。 Hugging Face 熱門模型

模型預設處理文字。若要輸入圖片，需加裝選用的視覺附加檔 mmproj（把圖片轉成模型可讀輸入的投影檔），共有兩種：F16 版（16 位元浮點數格式，精度較高、檔案較大）928 MB，以及 Q8_0 版（8 位元量化格式，檔案較小）629 MB。thinking 預設開啟，可以逐次請求切換，做法與 Qwen3.8 相同。用 llama-server 啟動時加上 --jinja，會開啟 Qwen3.8 的對話範本，負責處理工具呼叫與 thinking。伺服器在 port 8080 提供 OpenAI chat API（與 OpenAI 對話介面相同格式的 API，API 指應用程式介面）。模型卡的建議設定分兩種：一般用途、推理和指令任務維持 thinking 開啟，temperature 0.6、top_p 0.95、top_k 20（top_p 與 top_k 都是限制候選字範圍的取樣參數）；需要快速、直接的工具呼叫時，以 enable_thinking 設為 false 關閉 thinking，temperature 設為 0。 Hugging Face 熱門模型

對使用者的意義

要在本機使用，可以照模型卡的 Quickstart：用 huggingface-cli 下載 GGUF 檔，再用 llama-server 載入；需要看圖時，另外下載 mmproj 檔，並以 --mmproj 參數掛上，之後就能照一般方式透過 OpenAI chat API 傳送圖片。使用 Ollama（在本機下載並執行模型的工具）的人，可以先下載 GGUF，寫一個 Modelfile（Ollama 用來定義模型來源的設定檔），再以 ollama create saluki 建立本機模型。模型卡寫明，在 Apple silicon（Apple 自行設計的 Mac 晶片）上用 Ollama 0.40.4 測試過，對話、thinking 與工具呼叫都能運作。Hugging Face 頁面也列出 vLLM（開源的模型推論伺服器軟體）與 LM Studio（在桌機下載與執行模型的圖形介面應用程式）等使用方式。 Hugging Face 熱門模型

限制與未定事項

本則唯一來源是發布者撰寫的模型卡，文中所有分數都是發布者自行測試或引用的公開數字，目前手上沒有第三方的獨立評測。模型卡說明，Saluki 是在 stock llama.cpp 上測試；只有發布者自己跑完整尺寸 Qwen3.8-27B 的項目，才使用相同的測試框架與設定。依模型卡自報，Saluki 在 SWE-bench Verified、MBPP+、MuSR、AIME 2025 四項的分數低於完整尺寸。Ollama 的相容性測試只寫明 Ollama 0.40.4 搭配 Apple silicon。影像輸入需要另外下載視覺附加檔。 Hugging Face 熱門模型