mw00/project-maya 2,005 星，自有 GPU 跑 MoE 模型

背景

這則消息和兩個大型語言模型有關：GLM-5.3-Flash 與 DeepSeek-V4.1-Flash-1017。專案標題把兩者都稱為 MoE（混合專家模型，每次只動用部分參數處理輸入的架構）。Hugging Face（模型託管平台）上的官方頁面寫明，GLM-5.3-Flash 有 320B total parameters、18B active parameters，是 GLM-5 series 中第一個 natively multimodal（原生多模態，能同時處理文字與圖像）的模型。DeepSeek-V4.1-Flash-1017 則是 DeepSeek-V4.1-Flash 的 minor update（小幅更新），DeepSeek 頁面寫明程式庫與模型權重（訓練後的參數檔）採 MIT License。 官方原文・huggingface.co 原文 GitHub 熱門專案

發生什麼事

GitHub 上的 mw00/project-maya 建立於 10 月 6 日。截至本站記錄時（10 月 27 日），它建立不到 30 天，已累積 2,005 顆星（星數是使用者在 GitHub 上標記收藏的次數）。主要語言為 Cuda，授權為 MIT。 GitHub 熱門專案

專案說明表示，它能讓使用者在自己的 GPU（顯示卡上的繪圖處理器，也用來跑模型運算）上私有運行 GLM-5.3-Flash 與 DeepSeek-V4.1-Flash-1017，支援 1 至 16 張卡，NVIDIA 或 AMD，Linux 或 Windows。內容包含引擎、伺服器、儀表板、OpenAI- 及 Anthropic-相容 API（應用程式介面，程式之間互相呼叫的規格）與量化工具（把模型壓縮以縮小體積的工具）。 原文

重點內容

運作方式上，專案說明表示每個模型各有專屬引擎：把對話最常用到的 experts（專家子網路）放在 GPU，其次放在 RAM（記憶體），其餘放在 NVMe SSD（高速固態硬碟），並隨對話移動；引擎會測量 GPU、CPU、RAM 與 SSD 並自行調整，資料不會離開使用者的機器。API 支援 tool calls（讓模型呼叫外部工具），最多可同時回應 8 個請求。 GitHub 熱門專案

效能與量化方面，專案說明列出的速度是：兩張 H100 最高 124 tokens/s（token 是模型處理文字的基本單位），四張 RTX 4090 為 118，一張 RTX PRO 6000 為 81，單張 RTX 5090 為 30+。GLM-5.3-Flash 的 Maya 量化版保留 FP8（8 位元浮點格式）模型 zero-shot（不給範例的直接作答）準確度的 97.7-99.2%。其中 GLM-5.3-Flash 的 Maya-S（專案說明中的預設版本，適合記憶體池較小的電腦）為 96.5 GB、97.9%，Maya-L（專案說明中給最大記憶體池的版本）為 156.3 GB、99.2%；GLM-5.3-Flash 另有 Maya-M-Derisked（Maya-M 加上 Blackfrost_AI 的權重修改，用來減少一律拒答，標為實驗性）。DeepSeek-V4.1-Flash-1017 的 Maya-S（專案自己的量化版）檔案為 340 GB（含 Engram tables，Q6_K；來源未對這兩項另作說明，Q6_K 為量化格式名稱），與原版選出相同下一個 token 的比例是 92.6%。 原文

模型規模的寫法並不一致：官方頁面寫 GLM-5.3-Flash 為 320B total parameters，專案說明寫 321 B parameters，DeepSeek-V4.1-Flash-1017 則寫 748 B parameters（官方頁面未列參數量）。DeepSeek 官方頁面的建議設定包含 1M tokens 的 context_window（一次可處理的內容長度）。專案說明列出 unsloth 提供的 UD-Q8_K_XL GGUF（GGUF 是本機推論常用的模型檔格式；UD-Q8_K_XL 為該檔的量化版本名稱，來源註明為 DeepSeek 自己的格式），大小 508 GB，另有其他量化檔可選；安裝可執行 ./setup.sh --setup 後選擇模型，或用 ./setup.sh --model DeepSeek-V4.1-Flash-1017。 原文 官方原文・huggingface.co 原文

對使用者的意義

依專案說明，有 NVIDIA 或 AMD GPU、想在自己機器上運行這兩個模型的開發者可以參考。它提供相容 OpenAI 與 Anthropic 的 API，並表示可接 coding agents（寫程式的代理程式），另有瀏覽器內的聊天與即時監控介面。專案說明表示，設定程式會詢問要下載哪個版本，並依使用者的電腦推薦其中一個。 GitHub 熱門專案

限制與未定事項

專案說明把 AMD 與 Windows 標為 experimental（實驗性）。Maya-M-Derisked 也標為實驗性，對 FP8 模型的比較「not measured yet」。專案還新增 MiniMax-M3.1-Flash（428 B parameters、23 B active per token），標為 new, experimental，採 MiniMax Community License：非商業使用免費，商業使用有條件。2,005 顆星是本站在記錄時間點的觀察值。 GitHub 熱門專案

各方說法不一致的地方

• GLM-5.3-Flash 的參數量：官方原文（Hugging Face）寫 320B total parameters，mw00/project-maya 專案說明寫 321 B parameters。