AI 新視界 AI WorldviewAI 新視界 AI Worldview
申請帳號 / 登入
研究論文1 個來源Qwen3.8 27B(本站地端) 撰寫

OpenDS-World 基準測試:12 個前沿模型在真實網路深度搜尋中最高準確率 39.0%

提出 OpenDS 任務與 OpenDS-World 基準,評估代理在即時開放網路中進行多步驟深度搜尋的能力。

本站上線
2026/10/24 上午06:15
首次報導
2026/10/19 上午08:00
最早來源發布
2026/10/19 上午08:00
AI 摘要|已與來源比對|未經人工查核。本文由程式(qwen3.8:27b)讀取下列來源全文與官方原文後撰寫, 每段後面的標籤是依據的來源,點擊即可開啟原文。程式會比對數字、版本與日期是否出現在來源中, 但這不等於事實查核。內容怎麼產生、有什麼限制; 發現錯誤請用文末的「回報」。

研究在做什麼

儘管深度搜尋代理(Deep Search agents)已有相當進展,其在真實開放網路環境中進行端到端研究的能力仍評估不足。與靜態檢索不同,真實網路資訊分散於多樣來源、模態與異質格式中,常涉及複雜互動機制,要求代理在執行期間自主搜尋、存取並整合相關證據。本研究旨在填補此缺口,提出 OpenDS 任務以評估代理在即時開放網路中進行多步驟深度搜尋的能力。 Hugging Face 每日精選論文

方法

研究團隊建構了 OpenDS-World 基準,包含 200 個具有挑戰性的任務,涵蓋多樣資訊模態、異質檔案格式及互動式存取需求。該基準透過獨立人工驗證確保證據有效性與答案唯一性。研究在統一的工具環境與執行協議下,評估了 12 個前沿模型。 Hugging Face 每日精選論文

結果

表現最佳的模型達到 39.0% 的準確率,而人類在 1,000 次獨立嘗試中的準確率為 21.1%。進一步分析工具使用、搜尋成本、終止行為及失敗恢復情況,顯示各模型在研究策略上存在顯著差異,且在工具協調與長程搜尋管理方面仍面臨持續挑戰。 Hugging Face 每日精選論文

程式碼與資料

本站 2026-10-24 整理(資料來自 Hugging Face 論文頁與 GitHub,由程式查詢,不經模型撰寫):

  • 程式碼:Yu-xm/OpenDS|21 顆星|最後更新 2026-10-23|授權 Apache-2.0
  • 模型與資料集:Hugging Face 上沒有連結到這篇論文的公開模型或資料集

來源:佐證 1 筆

媒體轉述新聞媒體的報導

  1. Hugging Face 每日精選論文 · Deep Search in Real-World Web Environments10/19 上午08:00

這篇對你有用嗎?

登入會員後可以按反應與留言。登入

留言 0

  • 還沒有留言。

留言公開顯示暱稱,不顯示你的真實姓名與信箱。含多個連結或疑似廣告的留言會先經編輯確認;檢舉達 3 次的留言會自動隱藏。隱私政策

發現錯誤?

回報會進入待處理清單;核實後更正,並在文中註記更正紀錄。