研究在做什麼
清華大學(Tsinghua University)的研究團隊探討通往人工智慧通用智能(AGI)的規模化路徑。過去進展主要依賴擴大資源密集的執行系統,即系統2(System-2,負責深度推理與執行的重運算模組),透過更大的模型、更多資料與運算資源、更長的推理時間以及更多代理來實現。該研究提出一個假設:下一階段的進展可能來自於將系統2與系統1(System-1,輕量級、具備語義感知能力的預測器,負責在執行前評估候選互動)共同設計,確保系統2僅執行那些值得付出成本的操作。 Hugging Face 每日精選論文
方法
研究團隊提出了一種稱為「條件互動」(conditional interaction)的機制,這是一個包含預測、閘門、執行與更新的迴圈。在此迴圈中,系統1估計每個候選互動的效用,系統2則執行那些通過自適應閾值篩選的互動,而執行結果會回饋更新系統1。這個迴圈涵蓋了訓練、測試時推理、自適應決策以及代理工具使用等階段,其中效用與成本的定義取決於具體應用場景。 Hugging Face 每日精選論文
結果
在理想篩選條件且執行成本相等的情況下,執行運算量可降低至接近 1/ρ_u 的倍數,其中 ρ_u 代表與效用相關互動的密度(當成本不同時則為成本加權密度)。然而,預測錯誤、探索行為以及分布偏移會減少這種節省效果。研究還將選擇遺憾(selection regret)限制在預測器誤差與效用邊界之內。這些結果支持了研究的核心假設:ρ_u 是規模化效率的一個可測量座標,且「有效運算」(informative compute)比「總運算」(total compute)更能準確描述規模化的本質。 Hugging Face 每日精選論文
程式碼與資料
本站 2026-11-03 整理(資料來自 Hugging Face 論文頁與 GitHub,由程式查詢,不經模型撰寫):
- 研究機構(Hugging Face 標示):Tsinghua University
- 程式碼:論文頁沒有列出公開的程式碼
- 專案網頁:https://cheemswang.github.io/blogs/sys1-sys2-codesign.html
- 模型與資料集:Hugging Face 上沒有連結到這篇論文的公開模型或資料集