DeepSeek 開源推論框架 DeepInfer，支援 DeepSeek-V4.1-Flash

發生什麼事

DeepSeek 開源了 DeepInfer。README 將它描述為支撐 DeepSeek 大規模正式服務的高效能推論框架（負責讓模型實際跑起來並產生輸出的軟體）。這次釋出提供離線推論，以及大規模服務所需的核心功能，授權為 Apache License 2.0。 github.com

支援模型目前只列 DeepSeek-V4.1-Flash。預設載入的 checkpoint（模型權重檔）是 deepseek-ai/DeepSeek-V4.1-Flash-1017，首次執行時會下載到 Hugging Face（模型託管平台）快取。官方頁面說明 DeepSeek-V4.1-Flash-1017 是 DeepSeek-V4.1-Flash 的 minor update，權重採 MIT License。 github.com 官方原文・huggingface.co

效能面功能包括：多組最佳化 kernel（在 GPU〔圖形處理器〕上執行運算的底層程式）；Attention DP（注意力層的資料平行）與 balanced CP（平衡的上下文平行）；MoE（混合專家模型）的 EP（專家平行）加 EPLB（專家負載平衡）；DSpark 與 confidence-scheduled verification，README 說明是以 draft tokens（先草擬的候選 token）加速解碼，並用信心估計（confidence estimates）來排程驗證，draft 長度上限預設為 5；SWA bounded replay（SWA 為滑動視窗注意力），只重播有界的後段，以減少 decoder prefill（解碼端處理輸入的階段）的工作量；另有非同步排程，預設啟用。 github.com

可重現性與輸出控制方面：batch-invariant inference（不同批次組合下結果一致）以 DEEPINFER_BATCH_INVARIANT=1 啟用；deterministic sampling（相同輸入 token 與取樣參數產生相同輸出）需設 DEEPINFER_BATCH_INVARIANT=1 與 DEEPINFER_ENABLE_MTP_VARLEN=0，並傳入固定的 seq_seed。兩者都標明僅限 NVIDIA（GPU 廠商）。structured outputs 可把生成限制在 regex（正規表示式）、JSON schema 或 EBNF（文法描述格式）語法。 github.com

README 的致謝寫到，DeepInfer 最初主要建立在 vLLM（開源的大型語言模型推論服務框架）之上，並從 SGLang（另一個開源推論服務框架）與 TensorRT-LLM（NVIDIA 的推論最佳化函式庫）得到額外啟發。 github.com

誰受影響

硬體方面，README 列出 NVIDIA SM100 GPUs（NVIDIA 的資料中心 GPU）與 Huawei Ascend 950 NPUs（華為的 AI 加速處理器）。建置需求為 Linux、GCC >= 13.0（C/C++ 編譯器）、Python 3.12；NVIDIA 平台需 CUDA 13（NVIDIA 的平行運算平台），Ascend 平台需 CANN 9.2（華為 Ascend 的運算軟體架構）。使用 DeepSeek-V4.1-Flash 並採用這兩類硬體的團隊，是 README 直接涵蓋的對象。 github.com

限制與未定事項

README 明列此次釋出不含完整推論服務所需的三項：KV cache system（保存已算過的注意力資料以便重用的系統）；VE/Prefill/Decode disaggregation（原文稱大部分所需引擎功能已實作，未說明 VE 全名）；以及 prefill（處理輸入）與 decode（逐 token 生成）兩端在 data-parallel replicas（資料平行的多個副本）之間的負載平衡。 github.com

README 的效能測量為 prefill 使用 4 個 SM100 GPUs、decode 使用 64 個，各自位於同一個 scale-up domain（以高速互連的一組裝置）內。 github.com

各方說法

Reddit r/LocalLLaMA 的貼文者 feelspeaceman 認為，這份釋出可讓社群的自製推論引擎（貼文列了 gufo、halogen、strixite、Strata）藉由研究其「secret sauces」來改進。這是貼文者的個人看法。 Reddit r/LocalLLaMA