發生什麼事
GitHub 倉庫 RikiyaT/lm_understand-logs(存放實驗紀錄)公開了部落格〈Sparks of Weight Space Programming〉所有實驗的完整紀錄,並註明文中的 Astra 是 OpenAI 的 gpt-6-astra。Experiment 8 的主題是 make a language model better at math,以 Qwen3.5-0.8B(阿里巴巴開源的小模型)跑 10、25、50 passes(量子位稱之為 10、25 和 50 次前向呼叫預算),可在 Python sandbox(隔離的程式執行環境)執行程式,推理投入程度(reasoning effort)設為 max。 量子位 動區動趨 BlockTempo 官方原文・github.com
據 BlockTempo 報導,MIT 博士生 Rikiya Takehi 等四人進行此實驗。50 passes 那輪,MATH-500(數學測驗)從 7.9% 升到 48.1%;Astra 在第 15 層與第 19 層(神經網路由多層堆疊而成,這是其中兩層)各改 64 欄(每層權重矩陣中的 64 個輸出欄位),共 131,072 個權重,占全部的 0.016%,未用梯度下降(一般訓練調整權重的方法)。 量子位 動區動趨 BlockTempo
原模型在思考模式下常重複同一段話,頭 96 個練習回答中有 85 個寫到 32,768 個 token(文字單位)的長度上限。量子位指出,MATH-500 回答撞上限的比例從 93.0% 降到 33.1%;BlockTempo 另列 GSM8K(小學應用題)從 13.8% 升到 67.1%,IFEval(測是否照指令作答)從 21.0% 升到 62.3%,整輪歷時 158 輪對話、20.3 小時。 原文 量子位
預算較少的兩輪沒有同樣幅度:10 passes 與 25 passes(即 10 次與 25 次前向呼叫預算)的 MATH-500 分別為 12.3% 與 14.1%,撞上限比例仍有 87.2% 與 86.4%。 原文 動區動趨 BlockTempo 官方原文・github.com
另一個案例是 Gemma 3 270M 後續實驗:BlockTempo 指出其回答撞上限比例僅 8.5%,MATH-500 從 6.8% 最多升到 7.7%。部落格結論是「改權重能移除擋住能力的障礙,但加不出模型本來沒有的能力」。 動區動趨 BlockTempo 官方原文・github.com
誰受影響
官方倉庫表示,Experiment 8 的最終權重改動以對照公開基底權重的 exact diffs(與基底權重逐項比對的精確差異檔)提供,並附套用腳本,想重現的人可自行套用。紀錄、資料與神經網路檔採 CC BY 4.0(需標示出處的開放授權),腳本採 MIT。 官方原文・github.com
限制與未定事項
倉庫只收部落格報告的實驗,早期提示版本的試跑、中間檔案,以及 Experiment 8 生成內容中的 GPQA(研究所等級問答測驗)題目文字未收錄,但保留 GPQA 的分數與逐題結果。 官方原文・github.com
BlockTempo 指出,實驗在思考模式下測,且 v4(較短、未附失敗範例的提示)在 10 passes 那輪沒提交任何修改。量子位指出,Astra 的能力來自先前訓練,分析權重、批量推理與評測也要花計算資源。 動區動趨 BlockTempo 量子位
各方說法
Meta 研究員 Lucas Beyer(BlockTempo 稱其曾任職 OpenAI、DeepMind)回覆,任務提示已強烈暗示問題在迴圈,成果很酷但推文「有點誇大」、「有點釣魚」。BlockTempo 引述提示寫道「如果模型常因重複自己而做不完,找出並修好造成重複的原因也算數。」 動區動趨 BlockTempo
BlockTempo 也提到,團隊自己說分數跳升主因是修好重複問題,不等於 AI 已能讓另一個 AI 變聰明;Astra 能看到作答結果再調整,但回饋未拿去訓練。Hugging Face(模型託管平台)的 akhaliq 依公開紀錄重建模型,重跑 MATH-500 得 51.0%。 原文
