LFM3-1.7B 實測：生成速度是 Qwen3.5-4B 的 2.3 倍，繁體中文知識明顯落後

LiquidAI/LFM3-1.7B 是 Hugging Face 上的開源模型，發布兩天內 161 個讚、6,311 次下載。我們在一台 RTX A6000 48 GB 工作站 上，從下載、架起推論服務到跑完測試整段錄下終端機；測的是 2026-10-27 發布的 Q4_K_M GGUF 的版本。實測影片公開後會嵌在本文最下方。

背景

LFM3-1.7B 是 Liquid AI 推出的輕量級語言模型，主打本地端代理（Local Agents）與邊緣運算應用。其採用三混合架構（tri-hybrid architecture），結合門控短卷積、滑動視窗注意力與全域注意力，旨在以極小的參數量（1.73B）提供高達 256K 的上下文視窗，並針對 Hermes Agent 等代理框架進行後訓練，適合需要快速反應且記憶體受限的場景。

與傳統 Transformer 模型不同，LFM3 強調在 4-bit 量化下僅需約 1 GB 記憶體即可運行，這使得它能夠部署在手機或筆記型電腦上。專案方指出該模型專為工具呼叫、結構化輸出與領域微調設計，但不建議用於複雜的多步驟推理或程式碼生成，這使其定位於特定任務的輔助代理而非通用聊天機器人。

運作方式與使用方式

我們使用 llama.cpp 框架來運行 LFM3-1.7B 的 Q4_K_M GGUF 版本。首先透過 huggingface_hub 下載模型檔案，接著編譯支援 CUDA 的 llama.cpp 以啟用 GPU 加速。啟動服務時，使用 llama-server 指令載入模型，設定 --jinja 以支援聊天模板，--ngl 99 將所有層載入 GPU，並指定 --port 8181 開啟本地 API 服務。

測試流程包含速度基準測試與功能評估。速度部分使用 llama-bench 分別在 GPU 與純 CPU 模式下測量預填充（pp）與生成（tg）速度。功能評估則透過自訂腳本發送四組測試：工具呼叫、指令遵循、繁體中文知識問答以及長文件找針（Needle in a Haystack）。所有請求均透過 HTTP POST 發送至本地端點，並記錄回應時間與正確性。

與未使用時的差異

安裝與執行過程

結果驗證

在速度方面，LFM3-1.7B 展現了驚人的效率。在 NVIDIA RTX A6000 上，其生成速度達到 359.84 tok/s，遠高於對照組 Qwen3.5-4B 的 156.41 tok/s。即使在純 CPU 模式（Intel i7-9700）下，LFM3 仍維持 29.35 tok/s 的生成速度，而 Qwen3.5-4B 則降至 10.77 tok/s。這證實了 README 中關於其輕量高效、適合邊緣運算的說法。

在功能測試中，LFM3 在工具呼叫（8/10）與指令遵循（8/10）方面表現尚可，但在繁體中文知識準確度上明顯落後於較大的 Qwen3.5-4B（6/6）。工具呼叫錯的兩題值得一提：問它「請用一句話介紹你自己」時，它憑空呼叫了查天氣的工具，城市還填成「北京」；請它查「2026 年台北國際電腦展的日期」時，函式選對了，但送出的搜尋關鍵字被改寫成簡體字「台北国际电脑展」。對照組 Qwen3.5-4B 十題全對，不過在指令遵循上反而只有 7/10，像「全部大寫的英文句子」與「恰好五個英文單字」這類格式限制它沒有做到。例如，LFM3 錯誤地回答台灣最高山為「金山」且高度僅 1,983 公尺（實際為玉山 3,952 公尺），並將中華民國 115 年誤算為 2024 年（實際為 2026 年）。這顯示小參數模型在特定語言知識上可能存在幻覺或訓練資料不足的問題。

長文件找針測試中，LFM3 在 24,000 字（約 26,226 token）的上下文中成功找到目標，耗時 1.86 秒，符合其 256K 上下文視窗的設計能力。然而，在繁體中文回答中，LFM3 偶爾會混用簡體字（測試中出現 1 個簡體字），且回答風格較為機械化，不如 Qwen3.5-4B 自然流暢。

遇到的問題

1. 第一輪錄製時編譯 llama.cpp 失敗：我們的腳本用短版 commit 編號做 git fetch，遠端找不到；改成完整的 40 字元編號後重錄即正常。這是本站腳本的問題，與模型無關。

2. llama.cpp 要自己從原始碼編：專案這一版的 GitHub release 沒有附 Linux 執行檔，在這台工作站上用 CUDA 12.0 編 llama-server 與 llama-bench 花了約 458 秒。

3. Ollama 這一版（v0.40.12）的 LFM3 支援只有 Apple 硬體，Linux 要等後續版本，所以本次用 llama.cpp 的 GGUF 檔測試。

結論

LFM3-1.7B 適合需要極低延遲、低記憶體佔用且主要處理英文或結構化任務的本地端代理應用。對於繁體中文知識要求較高或需要精確事實回答的場景，建議選擇參數更大的模型或進行領域微調。其速度優勢明顯，但知識準確度是主要短板。另外要提醒：四組測試都是本站自訂的小題組（10／10／6／2 題），只能看趨勢，不等於模型卡上的 IFEval、BFCL 分數。