研究論文 #論文基準1 個來源Qwen3.8-Flash-Next-180B 撰寫

KAIST 提出 LOWN 方法，讓擴散式視覺語言模型按需處理圖像

KAIST AI 研究團隊提出 LOWN 解碼方法，透過憑證引導機制判斷是否需要處理圖像，在維持模型準確率的前提下，大幅降低擴散式視覺語言模型的運算量。

本文重點

KAIST 團隊提出 LOWN 方法，讓擴散式視覺語言模型按需處理圖像。
LOWN 保留 99.6% 分數，平均僅使用 35.3% 的解碼浮點運算量。
此方法無需訓練或調整閾值，可與視覺 token 修剪方法正交組合。

本站上線: 2026/10/31 上午02:14
首次報導: 2026/10/27 上午08:00
最早來源發布: 2026/10/27 上午08:00

AI 摘要｜已與來源比對｜未經人工查核。本文由程式（Qwen3.8-Flash-Next-180B）讀取下列來源全文與官方原文後撰寫，每段後面的標籤是依據的來源，點擊即可開啟原文。程式會比對數字、版本與日期是否出現在來源中，但這不等於事實查核。內容怎麼產生、有什麼限制；發現錯誤請用文末的「回報」。

約 2 分鐘讀完段落：研究在做什麼·方法·結果·程式碼與資料

研究在做什麼

擴散式視覺語言模型（Diffusion vision-language models, DVLMs）在每個去噪步驟（逐步消除雜訊以生成結果的過程）都會處理完整的輸入資料。在研究團隊測試的基準測試中，視覺 token（模型處理圖像的最小單位）佔輸入資料的 89-97%，這意味著大部分解碼運算都花在重複處理同一張圖像上。現有的視覺 token 修剪方法雖然能移除部分視覺 token 以減輕負擔，但會遺失被移除的資訊，且剩餘的圖像部分仍需在每個步驟處理。 Hugging Face 每日精選論文

為了測量圖像實際被需要的頻率，研究團隊比較了 LLaDA-V 模型在有無圖像輸入時，每個解碼步驟的預測結果。結果發現，移除圖像後，平均只有 22.8% 的步驟會改變 token 的遮罩狀態（unmasked），最低甚至只有 7.9%。這顯示圖像並非在每個步驟都必要。原文

方法

研究團隊提出名為 LOWN 的解碼方法，該方法在每個步驟決定是否處理圖像以及要解開多少 token 的遮罩。LOWN 先在不使用圖像的情況下預測被遮罩的 token，僅當此預測與上一次依賴圖像的預測不一致時，才處理圖像。若兩者一致，則認證先前的預測可重複使用，並以此認證的 token 數量決定該步驟要解開多少遮罩。由於不同基準測試對圖像的需求不同，LOWN 採用自適應決策而非固定排程。 Hugging Face 每日精選論文

結果

在無需訓練或調整閾值的情況下，LOWN 在十個基準測試中保留了 LLaDA-V 模型 99.6% 的分數，同時平均僅使用 35.3% 的解碼浮點運算量（FLOPs）。此外，LOWN 能泛化應用於其他基於 LLaDA 的擴散式視覺語言模型，可與視覺 token 修剪方法正交組合，並能在鍵值快取（key-value caching）機制下運行以進一步提升效率。 Hugging Face 每日精選論文