發生什麼事
GitHub 儲存庫 RikiyaT/lm_understand-logs 公開部落格文章 Sparks of Weight Space Programming: LLMs can understand and write neural network weights 各項實驗的完整紀錄,含送給模型的內容、模型回覆、執行過的程式碼與輸出、評分及模型讀寫的網路,共 8 個實驗資料夾。文中的「Astra」指 OpenAI 的 gpt-6-astra。 官方原文・github.com
每輪都是一次 Codex CLI(以命令列呼叫模型的工具)呼叫。官方稽核後表示,釋出的 1,125 輪全部沒有使用內建工具;實驗 3、6、7、8 則允許模型每輪寫一段 Python,在作者的沙盒(隔離執行環境)中執行。 原文
實驗 1 問模型網路是用哪款遊戲訓練的:Breakout(打磚塊)、Pong(桌上乒乓)、Pac-Man(小精靈)、Freeway(1981 年的 Atari 2600 遊戲),開放式作答、不給工具。Simon Willison 描述,作者訓練四個網路玩簡化成 10x10 格的版本,把權重(模型內部的數值參數)以浮點數文字交給模型,提示要求只憑權重回答。 原文 Simon Willison
論文摘要(經 Willison 引述)稱,GPT-6 Astra 從零寫出的小型遊戲網路,勝過以 PPO(一種強化學習演算法)訓練 100 million steps 的網路;編輯 Qwen3.5-0.8B 權重的 0.016%,MATH-500(數學評測)從 7.9% 升到 48.1%,IFEval(指令遵循評測)提高 3x。 原文
Willison 用 LM Studio(在本機執行模型的軟體)在筆電載入 17GB 的 Qwen 3.8 27B,並以 llm(他的命令列工具)的 -f/--fragment 選項直接讀取 GitHub 上的 prompt.txt。他說預設 8192 context(一次可輸入的文字長度)會出錯,需改成長 context,並設 LMSTUDIO_TIMEOUT=900。 原文
結果:Pac-Man 耗時 46m 12s、43,506 reasoning tokens(推理過程產生的 token),信心 72%;Pong 耗時 1h 4m 54s,信心 75%;Breakout 耗時 52m 25s,信心 88%。Freeway 答錯,Qwen 的答案是「A simplified Pac-Man-like grid game: agent moves 4-directionally」。 原文
Willison 也透過 OpenRouter(轉接多家模型的服務)呼叫 Kimi K3.1 Pro 跑 Breakout 提示,9m 41s、19,493 reasoning tokens 後答出 Breakout。 原文
誰受影響
想重現實驗的開發者:Willison 說各提示除權重外內容相同,且是自給自足的。 Simon Willison
限制與未定事項
Willison 的測試只涵蓋實驗 1 的四個提示,Freeway 未答對,他表示這款遊戲比另外三款冷門。官方儲存庫只收文章報告的執行;Gemma 3 270M(參數量 270M 的語言模型)微調模型(17 GB)、中間檔案、實驗 3 的 Python 語料文字,以及實驗 8 的 GPQA(研究生程度問答評測)題目文字未收錄。 Simon Willison 官方原文・github.com
各方說法
Willison 指出,spaCy(自然語言處理程式庫)作者 Matthew Honnibal 認為論文把「無工具讀權重」與「有程式碼後更新模型」混為一談而具誤導性,Sean Goedecke 則認為 Qwen3.5-0.8B 的更新步驟與人類 ML 研究者相同。Willison 自己預期夠有經驗的人只用筆記本和鉛筆、花足夠功夫也能得出結果,並表示還不準備宣告原始碼時代結束。 Simon Willison



