AI 新視界 AI Worldview
申請帳號 / 登入
全球動態#產品應用3 個來源Claude Sonnet 5.5 撰寫

JustVugg/colibri 一天增約 655 顆星,純 C 在現有硬體跑大型 MoE

GitHub 開源專案 JustVugg/colibri 以純 C 語言、零依賴、從磁碟串流載入專家層為訴求,累計 46,120 顆星。

本文重點

  1. JustVugg/colibri 專案累計 46,120 顆星,一天內新增約 655 顆星。
  2. 專案以純 C 語言、零依賴運作,最低需 8 GB RAM 與 22 GB 磁碟空間。
  3. GLM-5.3 非官方 checkpoint,無法在 transformers 或 vLLM 載入。
本站上線
2026/11/03 上午02:21
首次報導
2026/11/02 下午07:12
最早來源發布
2026/11/02 下午07:12
AI 摘要|已與來源比對|未經人工查核。本文由程式(claude-sonnet-5-5)讀取下列來源全文與官方原文後撰寫, 每段後面的標籤是依據的來源,點擊即可開啟原文。程式會比對數字、版本與日期是否出現在來源中, 但這不等於事實查核。內容怎麼產生、有什麼限制; 發現錯誤請用文末的「回報」。

背景

JustVugg/colibri 截至本站記錄時(2026 年 11 月 2 日)累計 46,120 顆星,一天內新增約 655 顆星。專案說明表示,它讓使用者在現有硬體上執行大型 MoE(混合專家模型,每個 token 只動用模型一小部分);token 是模型處理文字的單位。作法是把這一小部分放在 RAM(記憶體),其餘專家層需要時才從磁碟讀取。專案採純 C 語言、零依賴(不需安裝其他套件),不需要 GPU(顯示卡)。 GitHub 熱門專案

發生什麼事

該專案建立於 2026 年 7 月 1 日,主要語言為 C,授權為 Apache-2.0。專案說明列出目前有 13 個引擎:10 個語言模型、1 個圖像生成(Qwen-Image-2.1)、2 個決策模型(Laya 與 GLiNER2.5-Decide)。語言模型也能讀取已公開的 GGUF(常見的模型檔格式)檔,在 CPU、經 Vulkan(跨廠牌的 GPU 介面)的 GPU,或經 CUDA(NVIDIA 的 GPU 運算平台)的 NVIDIA 顯示卡上執行。 GitHub 熱門專案

重點內容

專案說明的範例輸出為「colibri v2.1.0 · GLM-5.2 · 744B MoE · int4 · streaming CPU」,並顯示 ready in 32s、resident 9.9 GB。int4 是以 4 位元整數儲存權重的量化方式;resident 指常駐記憶體的量。專案說明稱最低需要 8 GB RAM(16 GB 以上更好)、最小模型需 22 GB 磁碟空間與網路連線,顯卡為選配。 GitHub 熱門專案

安裝方式:Windows 執行 START-HERE.bat,Linux 與 macOS 執行 ./start-here.sh。專案說明表示,程式會檢查 CPU、GPU、RAM 與剩餘磁碟,推薦適合的模型,下載模型(可中斷續傳)後啟動並開啟瀏覽器儀表板。 原文

Hugging Face 上另有兩個 colibrì 格式的 GLM 轉換版。Justvugg/GLM-5.3-colibri-int4-g64 頁面說明這是 zai-org/GLM-5.3 的 int4 group-scaled(以 64 個元素為一組各自縮放的 4 位元量化)轉換,權重為 Z.ai 所有,只改變儲存方式,磁碟 419.3 GB、141 個分片,256 個專家、每個 token 啟用 8 個,total RSS(程式實際佔用的記憶體)約 13.6 GB(預算 18 GB)。mastouri/GLM-5.2-colibri-int4-g64-with-int8-mtp 頁面為 GLM-5.2 版本,寫明使用 colibrì v1.5.0 或更新版本(v1.3.0 是能正確執行此容器的最舊版本,v1.5.0 修補了模型載入器中兩個 heap out-of-bounds writes,即堆積區越界寫入),並稱 v1.5.0 公布八項安全公告,其中兩項在模型載入器。 官方原文・huggingface.co 原文

對使用者的意義

想在自己電腦上試跑大型開放模型的人,依專案說明可用 start-here 腳本讓程式依硬體推薦模型。使用 AI 程式助理的人,可請它依 docs/AI_SETUP.md 設定,或用 coli mcp 提供的 MCP(Model Context Protocol,讓 AI 助理呼叫外部工具的協定)伺服器,其工具可偵測硬體、推薦模型、安裝、啟動、停止與檢查。 GitHub 熱門專案

限制與未定事項

本篇只有 1 個獨立來源,星數是本站單一時點的觀察值。GLM-5.3 頁面表示它不是官方 checkpoint(模型權重檔),無法在 transformers 或 vLLM(常見的模型執行框架)載入,也尚未做與參考實作逐 token 完全一致的比較;colibrì 目前會把該模型標示為「GLM-5.2 744B」,頁面稱只有標籤有誤。mastouri 頁面實測:RTX 5080 的機器上 balanced 設定為 1.31 tok/s(每秒產生的 token 數),RAM 限制在 25 GB 時為 0.31–0.38 tok/s。 官方原文・huggingface.co 原文

來源:佐證 3 筆

官方原文當事公司或機構自己發布的文件

  1. huggingface.co · Justvugg/GLM-5.3-colibri-int4-g64 · Hugging Face
  2. huggingface.co · mastouri/GLM-5.2-colibri-int4-g64-with-int8-mtp · Hugging Face

把本站的實測結果寄給你

每週一、四各一封電子報:這幾天本站自己跑出來的實測數據、踩到的坑、值得看的一兩篇專題,附免費活動與資源。不轉貼新聞,隨時可退訂。

填信箱後會收到一封確認信,點一下才算訂閱;信箱只用來寄電子報。

延伸閱讀

這篇對你有用嗎?

留言 0

會員可以登入,留言會用你的會員暱稱。

  • 還沒有留言,第一則就是你的。

留言不用登入;名字選填,沒填就顯示「匿名會員」。含連結或疑似廣告的留言會先經編輯確認;檢舉達 3 次的留言會自動隱藏。隱私政策

發現錯誤?

回報會進入待處理清單;核實後更正,並在文中註記更正紀錄。