vllm-sr 在 Hugging Face 發布 d3 多模態決策模型，26.09B 參數

背景

vLLM Semantic Router 是一套軟體，模型卡把 Decision 3.0 稱為它的決策模型系列。決策模型（不生成文字，而是針對給定問題直接回傳每個答案機率的模型）的用法是：給它一段輸入，再列出要回答的問題，例如從幾個選項挑一個、回答是或否、或依量表評分，模型一次回傳所有問題的答案與機率。 Hugging Face 熱門模型

發生什麼事

Hugging Face（模型與資料集的分享平台）上的 vllm-sr 帳號在 2026 年 10 月 10 日上架 d3，本站 10 月 15 日記錄時，它已列在 Hugging Face 熱門模型榜。模型卡說明 d3 是 Decision 3.0 的 27B 多模態（能同時處理文字、圖片、影片等不同類型輸入）基礎決策模型，參數量 26.09B，其中包含 0.46B 的視覺編碼器（把圖片轉成模型可處理形式的元件），授權為 Apache-2.0（允許修改與商業使用的開源授權）。 Hugging Face 熱門模型

成績方面，模型卡自報在 Jev Decision Index（模型卡引用的決策評測指標）0.3.2 拿到 66.3，並稱在官方文字榜排名第一，也位於其 Pareto frontier（多項指標取捨下，沒有其他模型能在各項同時更好的那一組）上。發布者表示，用官方 0.3 工具組測試釋出的權重，公開測試集得分 65.45，全部 140,178 個公開請求都有回答，沒有不支援的請求。模型卡也自報比 Decision 2.0（前一代決策模型）的 27B 模型高 10.4，後者在官方榜為 55.9；在公開測試集高 8.5，五個領域都較高，在私有的同技能測試與新領域任務分別高 7.1 與 12.6。 Hugging Face 熱門模型

重點內容

d3 支援三種問題類型：Choice（選擇）、Yes / No（是非）與 Score（評分），輸入可以是文字或 JSON（一種結構化資料格式）。同一輸入的多個問題會在一次呼叫中一起回答，每個問題各自對輸入做一次前向運算（模型對輸入做一次計算），每個選項都附機率。模型卡的範例是一則「訂單昨天送達時已損壞、客戶有收據並要求今天換貨」的客服訊息，同時詢問該轉給 returns、billing 或 technical 哪個團隊、客戶是否有收據、急迫程度是 Routine、Soon 還是 Today。 Hugging Face 熱門模型

圖片與影片每次請求都可放多個，且每個問題都會看到全部。圖片支援 PNG、JPEG、WebP（皆為常見圖片格式），可用檔案路徑、URL（網址）、PIL（Python 的影像處理函式庫）圖片物件或 base64（把二進位資料轉成文字的編碼方式）data URL 提供，每張最多以 1.6 megapixels（百萬像素）讀取。影片支援 MP4、WebM、MOV、MKV（皆為常見影片格式），以每秒 2 格讀取，整支影片最多取 32 格，每格最多 0.2 megapixels。模型卡自報在 Perception Test（多選題影片問答測驗）得到 77.4，並註明為內部評估。 Hugging Face 熱門模型

速度方面，模型卡表示在一張 AMD Instinct MI325X（AMD 的資料中心加速卡）上，用 AutoModel（Transformers 函式庫中自動載入模型的類別）一次處理一個請求時，純文字請求中位數 54.4 ms，含一張圖片的請求中位數 290 ms，含 10 秒影片的請求中位數 500 ms。透過 vLLM Semantic Router 服務時，同一張卡可達每秒 27 個請求，p99（99% 請求的回應時間都在此值以內）低於 1 秒，是 AutoModel 的 1.5 倍；這項數據的條件是單一問題的文字請求並啟用批次處理（把多個請求合併一起運算），批次處理現在是預設。 Hugging Face 熱門模型

對使用者的意義

依模型卡，開發者可透過兩種方式使用。一是 Transformers（Hugging Face 的 Python 模型函式庫），模型卡建議以 pip（Python 套件安裝工具）安裝 transformers==5.17.0 等套件，載入時設定 trust_remote_code=True，再呼叫 model.system_one 傳入輸入內容與問題。二是在自己的機器上用 vLLM Semantic Router 的 Engine 模式執行，指令為 vllm-sr serve -e vllm-sr/d3，啟動後向 localhost:8899/v1/systemone 送出請求；這個端點屬於 System One API（應用程式介面，程式之間互相呼叫的規格；這裡指送入輸入與問題、取回各答案機率的介面）。 Hugging Face 熱門模型

限制與未定事項

模型卡說明，Engine 模式與 Decision 3.0 目前只在開發版通道（--channel dev），要等 vLLM Semantic Router 的穩定版納入。改用批次處理為預設後，少數接近平手的判斷結果會改變；只有在每次前向運算處理一個請求（先前的預設）且兩邊使用相同底層運算程式設定時，答案才與 AutoModel 逐位元組相同。以上排名與分數均出自模型卡本身，本則唯一來源是模型卡，沒有第三方評測結果；速度數據也只列出在 AMD Instinct MI325X 上的測量。 Hugging Face 熱門模型