研究論文 #論文基準1 個來源Qwen3.8-Flash-Next-180B 撰寫

研究證明 JEPA 架構比語言模型更易達成柏拉圖表示

galilai-group 研究團隊提出柏拉圖表示定理，指出 Joint-Embedding Predictive Architectures（JEPA，聯合嵌入預測架構）在處理多模態資料時，比傳統下一個詞元預測（next-token prediction）更能高效收斂至一致的表徵。

本文重點

galilai-group 證明 JEPA 架構比語言模型更易達成柏拉圖表示。
使用良好視角訓練所需樣本，比下一個詞元預測少了 42 倍。
109M 參數的文字 JEPA 模型，對齊效果優於最大 72B 語言模型。

本站上線: 2026/11/01 下午07:26
首次報導: 2026/10/29 上午08:00
最早來源發布: 2026/10/29 上午08:00

分享LINE Facebook Threads X LinkedIn

AI 摘要｜已與來源比對｜未經人工查核。本文由程式（Qwen3.8-Flash-Next-180B）讀取下列來源全文與官方原文後撰寫，每段後面的標籤是依據的來源，點擊即可開啟原文。程式會比對數字、版本與日期是否出現在來源中，但這不等於事實查核。內容怎麼產生、有什麼限制；發現錯誤請用文末的「回報」。

約 3 分鐘讀完段落：研究在做什麼·方法·結果·程式碼與資料

研究在做什麼

galilai-group 研究團隊針對「柏拉圖表示假說」（Platonic Representation Hypothesis, PRH）進行理論證明與實驗驗證。該假說認為，不同模態（如文字與影像）的模型在規模擴大後，會收斂到對世界一致的表徵。然而，過去缺乏數學證明，導致無法保證此現象必然發生，也缺乏具體的訓練配方。本研究旨在將此假說轉化為可證明的定理，並探討如何更有效地達成這種跨模態的表徵對齊。 Hugging Face 每日精選論文

方法

研究團隊首先證明「柏拉圖表示定理」：當 Joint-Embedding Predictive Architectures（JEPA，聯合嵌入預測架構）在任意數量的模態上分別訓練時，只要其正樣本對（positive pairs）是同一場景的兩個良好視角（good views），且其他情況下的錯位程度受限，這些模型學習到的表徵在旋轉（rotation）意義下是相同的。接著，研究指出下一個詞元預測（next-token prediction）本質上是一種使用「不良視角」（bad views，即單一文件的部分內容）的 JEPA，這解釋了為何語言模型僅能透過規模擴大來與視覺模型對齊。 Hugging Face 每日精選論文

結果

實驗從 145k 張圖片的標題驗證到 940M 張網路圖片的文字，發現了一種能預測未見實驗結果的對齊縮放定律。數據顯示，使用「良好視角」訓練所需的樣本數量，比在同一語料庫上使用下一個詞元預測達到相同對齊效果所需的數量少了 42 倍。此外，一個參數規模為 109M 的文字 JEPA 模型，與 DINOv2 和 CLIP 的影像編碼器對齊的效果，優於研究團隊評估的所有語言模型（最大至 72B 參數），甚至優於 CLIP 的文字編碼器。 Hugging Face 每日精選論文

作為展示，僅透過一次旋轉操作，即可將分別訓練的編碼器轉換為影像標題生成器，在 COCO 資料集上的 CIDEr 分數達到 .838。即使在無需配對（pair-free）的最新基準測試中，該文字 JEPA 模型的零樣本準確率也超越了評估中所有參數規模達 8B 的語言模型。例如在 ImageNet-100 上，其準確率為 64%，而對比語言模型的最高 top-5 準確率為 56%。這表明「正視角」（positive views）而非單純的規模擴大，才是建構柏拉圖表示的關鍵槓桿。原文