IQuest-Q1 發布：320B 參數 MoE 代理式基礎模型

研究在做什麼

研究團隊提出 IQuest-Q1，這是一個專為代理式 CLI（命令列介面）系統設計的基礎模型。該模型採用稀疏 MoE（混合專家）架構，總參數量為 320B，但在推理時僅啟用 15B 參數。研究旨在透過整合編碼與通用任務的能力，並開放原始碼，以支持社群在代理式 AI 領域的研究與開發。 arXiv cs.CL

方法

IQuest-Q1 的開發過程分為三個階段。第一階段是穩定且高效的預訓練，結合了 Stable SplitNorm、Muon 優化器與 muP（微調參數化，一種確保模型在不同規模下超參數可遷移的技術），並採用兩階段課程學習，第二階段增加編碼資料的比例，同時維持安全與最佳學習率之間的穩定邊界。第二階段為細粒度中期訓練，擴展資料混合的領域與格式，並逐步延長上下文長度。第三階段是多腳手架與多版本後訓練，結合 SFT（監督式微調）、領域專用 RL（強化學習）與 MOPD（多目標偏好最佳化，一種對齊技術），在不同腳手架環境中整合互補的訓練訊號，以強化代理式編碼能力。此外，研究還使用了模型合併技術，將不同階段的不同專家與檢查點結合，同時減輕參數更新之間的衝突。 arXiv cs.CL

結果

經過上述訓練流程，IQuest-Q1 在編碼任務與通用任務上均展現出相應的能力。該模型已作為開放原始碼模型發布，供社群使用。 arXiv cs.CL

程式碼與資料

本站 2026-10-25 整理（資料來自 Hugging Face 論文頁與 GitHub，由程式查詢，不經模型撰寫）：

• 研究機構（Hugging Face 標示）：IQuest
• 程式碼：論文頁沒有列出公開的程式碼
• 模型與資料集：Hugging Face 上沒有連結到這篇論文的公開模型或資料集
• 注意：論文摘要提到會公開程式碼或資料，但本站整理時找不到公開的專案、模型或資料集。