llama.cpp b11843：qwen4exp 建置 QSA 選擇改為不使用 kq_mask

發生什麼事

llama.cpp（可在本機執行大型語言模型的開源推論引擎）的 b11843 版，由 sanmai 於 10 月 23 日標記。官方標題為「qwen4exp : build the QSA selection without the kq_mask (#30965)」，意思是 qwen4exp 建置 QSA 選擇時不使用 kq_mask（注意力計算中使用的遮罩）。QSA 在來源中沒有展開全名，也沒有說明它的功能，此處保留原文縮寫。 官方原文・llama.cpp Releases

commit 說明中記載了一個形狀不符的問題。ggml_top_k_mask（ggml 張量函式庫中的 top-k 遮罩函式）在只有單一 keep row 時，回傳的形狀是 [n_kv, n_tokens]。但 build_attn_qsa（程式中負責 QSA 注意力計算的函式）預期的 kq_mask 版面是 [n_kv, n_tokens/n_stream, 1, n_stream]，其中 n_stream 指 stream 的數量。官方寫明，在有多個 stream 的情況下，shape assert（張量形狀檢查）在 graph reserve（計算圖預留階段）失敗。對應的處理是「qwen4exp : reshape the fused QSA selection to the kq_mask streams」，也就是把融合後的 QSA 選擇 reshape 成 kq_mask 的 stream 版面。 官方原文・llama.cpp Releases

這次合併的其他項目還有：新增「test the QSA optimization」，也就是 QSA 最佳化的測試；改為更新 build_fused_top_k_mask（程式中建置融合版 top-k 遮罩的函式），不再手動接線（handwiring）；並做了 clean、lang、simplify 等整理。另外把 il 放在最後以保持一致，來源沒有說明 il 的意義。 官方原文・llama.cpp Releases

誰受影響

依官方 commit 說明，出現問題的情境是有多個 stream 時，在 graph reserve 階段觸發 shape assert 失敗。來源沒有進一步列出受影響的模型、硬體或使用者族群。 官方原文・llama.cpp Releases

各方說法

Reddit r/LocalLLaMA 的貼文由 jacek2023 提交，連到這個 Pull Request #30965，內文寫「gigabytes of VRAM saved (Qwen Flash Next)」。VRAM 是 GPU 的顯示記憶體；Qwen Flash Next 在來源中沒有進一步說明。貼文另引了一句話：「This is one of the things Strata does to squeeze the most juice from the experts' cache.」引文中的 Strata 與 experts' cache（專家快取）來源都沒有解釋，也沒標明這句話出自誰。官方 release 說明沒有提到 VRAM 節省，貼文也沒有給出具體的 GB 數字、硬體或測試條件。 Reddit r/LocalLLaMA 官方原文・llama.cpp Releases