LangChain 測試 OpenWiki 與圖譜提升代理跨文件推理準確率
LangChain 團隊在保險文件庫實驗中發現,使用 OpenWiki 作為記憶層可讓代理在跨來源問題上準確率提升約 5 倍;加入證據圖譜後,準確率再提升 27%,引用一致性加倍,且單次正確回答成本降低 58%。
本文重點
- LangChain 發布報告,測試 OpenWiki 作為代理記憶層的效能。
- 跨來源問題準確率提升約 5 倍,單次正確回答成本降低 58%。
- 簡單查詢延遲增加,且證據圖譜依賴引用準確性。
- 本站上線
- 2026/10/29 上午04:23
- 首次報導
- 2026/10/29 上午01:28
- 最早來源發布
- 2026/10/29 上午01:28
背景
OpenWiki 是 LangChain 開發的開源 CLI(命令列介面,用打字下指令操作電腦的方式)工具,基於 Deep Agents 建構。它將分散的文件編譯成帶有引用的 Wiki 頁面,作為代理的持久記憶層。傳統 RAG(檢索增強生成,讓模型先搜尋相關資料再回答的技術)常透過語意搜尋擷取孤立片段,但代理仍需自行拼湊片段間的關係。在銀行與保險等領域,政策與指南經常相互修訂或取代,這種跨來源的依賴關係使得單純的檢索變得困難且昂貴。 官方原文・LangChain Blog
發生什麼事
LangChain 團隊於 2026 年 10 月 28 日發布測試報告,評估 OpenWiki 作為代理記憶層的效能。他們建立了一個包含 111 份長篇文件的合成保險文件庫,並設計了 972 個事實的帳本作為評分基準。實驗比較了兩種條件:僅使用關鍵字搜尋(Search)與使用 OpenWiki 編譯後的 Wiki(Wiki)。在需要跨文件推理的「連結問題」上,使用 Wiki 的代理準確率從僅用搜尋時的 0.10 提升至 0.52,約為後者的 5 倍。 官方原文・LangChain Blog
重點內容
為了進一步提升證據檢索的一致性,團隊在 Wiki 基礎上添加了輕量級的「證據圖譜」。該圖譜將 Wiki 中的引用轉化為明確的類型化邊(typed edges,標明關係類型的連線),連接聲明、Wiki 頁面、段落與主題。圖譜建構過程是確定性的,無需額外模型呼叫,耗時不到一秒。實驗結果顯示,加入證據圖譜後,準確率再提升 27%,引用一致性加倍,中位回答時間減少 40%,單次正確回答成本降低 58%。 官方原文・LangChain Blog
在簡單查詢任務上,Wiki 與搜尋的表現相近(準確率 0.83 vs 0.84),但 Wiki 的延遲從 9 秒增加到 12 秒。OpenWiki 編譯 111 份文件庫的成本為 4.15 美元,後續新增 17 份文件的成本約為每份 0.09 美元。報告指出,對於簡單查詢,搜尋單獨使用同樣準確且更快;但對於需要反覆進行跨來源推理的場景,Wiki 與證據圖譜的組合能提供更準確且單次正確回答成本更低的答案。 原文
對使用者的意義
報告指出,當多個代理反覆回答跨越相同分散來源的問題時,共享 Wiki 能保留來源間的關係,而圖譜邊能引導代理找到支持證據。 官方原文・LangChain Blog
限制與未定事項
報告指出,證據圖譜的邊依賴於 Wiki 模型生成引用的準確性;若引用錯誤,圖譜導航也會受影響。此外,對於簡單查詢,建立與維護記憶層的費用可能超過檢索節省的成本,特別是在企業規模下。團隊表示未來將探索更動態的 Wiki 編譯方式,僅保留代理所需的上下文,而非整個儲存庫。 官方原文・LangChain Blog
來源:佐證 1 筆
官方原文當事公司或機構自己發布的文件
- LangChain Blog · How to build evidence-grounded agent memory with OpenWiki and Graphs10/29 上午01:28
這篇對你有用嗎?
留言 0
- 還沒有留言,第一則就是你的。
留言不用登入;名字選填,沒填就顯示「匿名會員」。含連結或疑似廣告的留言會先經編輯確認;檢舉達 3 次的留言會自動隱藏。隱私政策
發現錯誤?
回報會進入待處理清單;核實後更正,並在文中註記更正紀錄。