MemTensor 發布 MemT-1.0:內建記憶架構與效能數據
MemTensor 推出 MemT-1.0 模型家族,將記憶機制整合進模型計算,在 128K token 歷史長度下展現推論加速與儲存空間減少。
- 本站上線
- 2026/10/23 上午04:20
- 首次報導
- 2026/10/19 上午08:00
- 最早來源發布
- 2026/10/19 上午08:00
研究在做什麼
MemTensor 提出 MemT-1.0,旨在讓基礎模型具備內建記憶能力,使其能持續累積並利用資訊。該架構將記憶內化為模型計算的一部分。 Hugging Face 每日精選論文
方法
MemT-1.0 基於 Metis,採用 Gated DeltaNet-2,並在每一輪(turn)中具備穩定的 token 級記憶更新機制。研究進一步引入 Mixture-of-Storage(一種用於擴展原生記憶容量的技術)以擴展原生記憶容量。訓練流程分為持續預訓練與後訓練兩個階段,使用 34B tokens 的訓練資料。 Hugging Face 每日精選論文
結果
評估結果顯示,該模型家族在平均表現上優於參數化記憶基準(parametric memory baselines),與檢索增強方法(retrieval-augmented methods)具有競爭力,同時大幅保留通用能力。在 128K tokens 歷史長度下,MemT-1.0-Nano 實現約 1.86 倍的端到端推論加速,並相對於完整上下文 KV cache 減少 66 倍的持久儲存空間。此外,透過內化檢索的程序經驗,MemT-1.0 提升了代理任務的成功率。 Hugging Face 每日精選論文
程式碼與資料
本站 2026-10-23 整理(資料來自 Hugging Face 論文頁與 GitHub,由程式查詢,不經模型撰寫):
- 研究機構(Hugging Face 標示):MemTensor
- 程式碼:MemTensor/MemT-1.0|334 顆星|最後更新 2026-10-20|授權 未標示
- 專案網頁:https://huggingface.co/collections/MemTensor/memt-1
- 公開模型:MemTensor/MemT-1.0-Nano、MemTensor/MemT-1.0-Flash
- 線上展示:tardellirs/model-pulse、BIGJUTT/model-pulse
來源:佐證 1 筆,另有背景參考 1 筆
媒體轉述新聞媒體的報導
- Hugging Face 每日精選論文 · MemT-1.0: Towards Memory-Native Evolution10/19 上午08:00
背景參考正文沒有引用,只是相關背景,不計入佐證數
- Reddit r/LocalLLaMA · [Paper] MemT-1.0: Towards Memory-Native Evolution10/21 下午08:00
這篇對你有用嗎?
登入會員後可以按反應與留言。登入
留言 0
- 還沒有留言。
留言公開顯示暱稱,不顯示你的真實姓名與信箱。含多個連結或疑似廣告的留言會先經編輯確認;檢舉達 3 次的留言會自動隱藏。隱私政策
發現錯誤?
回報會進入待處理清單;核實後更正,並在文中註記更正紀錄。