Stanford 研究:6 個 LLM 被要求不思考,仍持續寫出推理
Stanford University 研究者以三層指標檢驗 LLM 的「不思考」表現,發現明確的不思考指令無法穩定消除可見推論。
- 本站上線
- 2026/10/15 上午02:19
- 首次報導
- 2026/10/08 上午08:00
- 最早來源發布
- 2026/10/08 上午08:00
研究在做什麼
現在的大型語言模型(LLM)越來越常附帶明確的「思考模式」,也就是先寫出推理過程再作答;與之相對的「不思考」(no-thinking,只給答案、不展示推理)卻少有人研究。Stanford University 的這篇論文從兩個方向探討:怎麼衡量不思考,以及不思考的表現如何隨任務與模型而不同。 Hugging Face 每日精選論文
作者指出,過去常用「關閉思考模式」或「沒有長篇推理」來代表不思考,但這些替代指標不可靠:關閉思考模式的模型仍可能輸出推理,長篇內容也可能只是填充文字,並非真正的推論。 Hugging Face 每日精選論文
方法
作者把每則回應拆成「作答前文字」(答案出現前的內容)與最終答案,再分三個層級評估:Empty-Thinking Rate(作答前沒有任何文字、嚴格只給答案的比例);Question-Pre-answer Relevance(考慮指令內容後,衡量作答前文字與題目的相似程度);以及用 LLM-as-judge(讓語言模型擔任評審)判定的 Explicit Inference Rate(回應中出現可見明確推論的比例)。三者合起來可區分只給答案、有相關文字但沒有推論、明確推論三種情況。實驗在六個 LLM 上測試六種提示介入(在提示詞中加入的不同控制方式),題型涵蓋是非題、選擇題與開放式問題。 Hugging Face 每日精選論文
結果
研究發現,明確要求不思考的控制手段無法穩定消除可見推論。作者把這種現象稱為「Thinking Inertia」(思維慣性,模型在嚴格限制下仍繼續明確推論);答案空間(題目允許的答案範圍,是非題最窄、開放式問題最寬)越開放,這種情形越常見。 Hugging Face 每日精選論文
是非題與選擇題的準確率維持穩定;開放式問題則顯示,只給答案的遵從度與任務準確率之間存在取捨。把同一批題目改寫成不同答案空間後,作者發現提供候選答案會讓模型比較容易做到只給答案。作者據此認為,不能只靠模型設定或指令就假設模型已停止明確推理,不思考應與推理能力一起系統性評估。 Hugging Face 每日精選論文
限制
這項研究的評估範圍是六個 LLM 與六種提示介入,題型限於是非題、選擇題與開放式問題三類。 Hugging Face 每日精選論文
程式碼與資料
本站 2026-10-15 整理(資料來自 Hugging Face 論文頁與 GitHub,由程式查詢,不經模型撰寫):
- 研究機構(Hugging Face 標示):Stanford University
- 程式碼:[thinking-inertia/code](https://github.com/thinking-inertia/code)|5 顆星|最後更新 2026-10-09|授權 MIT
- 專案網頁:https://thinking-inertia.github.io/
- 公開資料集:[thinking-inertia/llm-nothinking-trajectories](https://huggingface.co/datasets/thinking-inertia/llm-nothinking-trajectories)
- 線上展示:[tardellirs/paper-pulse](https://huggingface.co/spaces/tardellirs/paper-pulse)
來源 1 筆
- Hugging Face 每日精選論文 · Thinking Inertia: LLMs Keep Thinking When Told Not To10/08 上午08:00
這篇對你有用嗎?
登入會員後可以按反應與留言。登入
留言 0
- 還沒有留言。
留言公開顯示暱稱,不顯示你的真實姓名與信箱。含多個連結或疑似廣告的留言會先經編輯確認;檢舉達 3 次的留言會自動隱藏。隱私政策
發現錯誤?
回報會進入待處理清單;核實後更正,並在文中註記更正紀錄。