背景
JustVugg/colibri 截至本站記錄時(2026 年 11 月 2 日)累計 46,120 顆星,一天內新增約 655 顆星。專案說明表示,它讓使用者在現有硬體上執行大型 MoE(混合專家模型,每個 token 只動用模型一小部分);token 是模型處理文字的單位。作法是把這一小部分放在 RAM(記憶體),其餘專家層需要時才從磁碟讀取。專案採純 C 語言、零依賴(不需安裝其他套件),不需要 GPU(顯示卡)。 GitHub 熱門專案
發生什麼事
該專案建立於 2026 年 7 月 1 日,主要語言為 C,授權為 Apache-2.0。專案說明列出目前有 13 個引擎:10 個語言模型、1 個圖像生成(Qwen-Image-2.1)、2 個決策模型(Laya 與 GLiNER2.5-Decide)。語言模型也能讀取已公開的 GGUF(常見的模型檔格式)檔,在 CPU、經 Vulkan(跨廠牌的 GPU 介面)的 GPU,或經 CUDA(NVIDIA 的 GPU 運算平台)的 NVIDIA 顯示卡上執行。 GitHub 熱門專案
重點內容
專案說明的範例輸出為「colibri v2.1.0 · GLM-5.2 · 744B MoE · int4 · streaming CPU」,並顯示 ready in 32s、resident 9.9 GB。int4 是以 4 位元整數儲存權重的量化方式;resident 指常駐記憶體的量。專案說明稱最低需要 8 GB RAM(16 GB 以上更好)、最小模型需 22 GB 磁碟空間與網路連線,顯卡為選配。 GitHub 熱門專案
安裝方式:Windows 執行 START-HERE.bat,Linux 與 macOS 執行 ./start-here.sh。專案說明表示,程式會檢查 CPU、GPU、RAM 與剩餘磁碟,推薦適合的模型,下載模型(可中斷續傳)後啟動並開啟瀏覽器儀表板。 原文
Hugging Face 上另有兩個 colibrì 格式的 GLM 轉換版。Justvugg/GLM-5.3-colibri-int4-g64 頁面說明這是 zai-org/GLM-5.3 的 int4 group-scaled(以 64 個元素為一組各自縮放的 4 位元量化)轉換,權重為 Z.ai 所有,只改變儲存方式,磁碟 419.3 GB、141 個分片,256 個專家、每個 token 啟用 8 個,total RSS(程式實際佔用的記憶體)約 13.6 GB(預算 18 GB)。mastouri/GLM-5.2-colibri-int4-g64-with-int8-mtp 頁面為 GLM-5.2 版本,寫明使用 colibrì v1.5.0 或更新版本(v1.3.0 是能正確執行此容器的最舊版本,v1.5.0 修補了模型載入器中兩個 heap out-of-bounds writes,即堆積區越界寫入),並稱 v1.5.0 公布八項安全公告,其中兩項在模型載入器。 官方原文・huggingface.co 原文
對使用者的意義
想在自己電腦上試跑大型開放模型的人,依專案說明可用 start-here 腳本讓程式依硬體推薦模型。使用 AI 程式助理的人,可請它依 docs/AI_SETUP.md 設定,或用 coli mcp 提供的 MCP(Model Context Protocol,讓 AI 助理呼叫外部工具的協定)伺服器,其工具可偵測硬體、推薦模型、安裝、啟動、停止與檢查。 GitHub 熱門專案
限制與未定事項
本篇只有 1 個獨立來源,星數是本站單一時點的觀察值。GLM-5.3 頁面表示它不是官方 checkpoint(模型權重檔),無法在 transformers 或 vLLM(常見的模型執行框架)載入,也尚未做與參考實作逐 token 完全一致的比較;colibrì 目前會把該模型標示為「GLM-5.2 744B」,頁面稱只有標籤有誤。mastouri 頁面實測:RTX 5080 的機器上 balanced 設定為 1.31 tok/s(每秒產生的 token 數),RAM 限制在 25 GB 時為 0.31–0.38 tok/s。 官方原文・huggingface.co 原文
