Google Cloud 推出 Gemini 強化學習微調服務 RLFT，發布最佳實務指南

背景

強化學習（RL，讓模型依獎勵分數調整行為的訓練方式）是現代 LLM（大型語言模型）後訓練（預訓練完成後再針對用途調整模型的階段）的重要環節。不過，RL 需要大型訓練叢集，也需要存取模型內部。外部客戶使用 Gemini 這類專有模型時，拿不到這些模型內部。Google Cloud 因此把 RL 包裝成託管的 RL 微調服務（RLFT service）：客戶提供提示詞（prompt，輸入給模型的指令或問題）與獎勵函式（替模型回應打分數的程式），基礎設施與模型內部由 Google 處理。 Google Cloud Blog (AI)

發生什麼事

Google Cloud Blog 於 2026 年 9 月 25 日發布一篇指南，作者是 Google 資深軟體工程師 Jiaqi Pan 與資深產品經理 Kunal Jha。文中說明，使用者現在可以用這項服務調整 Gemini，並整理何時該用 RL、怎麼取得最大效益。SFT（監督式微調，用一組標好的標準答案教模型）的學習來源是固定答案，這項服務則讓模型從使用者定義的獎勵訊號學習，目標是 SFT 不擅長的「難以示範、但容易評分」的任務。 Google Cloud Blog (AI)

重點內容

服務的運作方式如下：每個訓練步驟，服務會針對提示詞產生多個候選回應，用使用者的獎勵評分，再調整模型，讓高分回應更容易出現，同時讓模型貼近原始 Gemini。RL 的部分完全託管，使用者不需設定。原文指出，使用者唯一要負責、也最影響結果的是獎勵。原文以 SQL（資料庫查詢語言）舉例：無法替每種 schema（資料表結構）手寫理想查詢，但可以實際執行查詢、檢查結果。原文列出三項特性：從模型自己的輸出學習，對無關能力的干擾通常比 SFT 小；獎勵結果而不是解題路徑，適合有多種正確解法的開放式任務；放大模型既有的能力。 Google Cloud Blog (AI)

關於使用時機，原文建議先用盡提示詞與 SFT。以下情況適合 RLFT：能評分但難以低成本寫出答案；SFT 在關鍵指標上停滯，例如忠實度、schema 正確性、語氣；或者任務有多個同樣正確的答案。基礎模型已能部分成功時，可以直接做 RLFT。已有 SFT 資料，或基礎成功率太低時，原文建議分兩階段：先做短暫而輕量的 SFT，再透過 Continuous Tuning 接續 RL。Continuous Tuning 從 SFT 的 checkpoint（檢查點，訓練中保存的模型狀態）開始做 RL。 Google Cloud Blog (AI)

原文列出早期採用者的五類案例。第一類是遊戲 NPC（非玩家角色）對話：用 Gemini autorater（LLM-as-a-judge，讓語言模型當評審打分）評分，重複迴圈與語言漂移消失。第二類是從發票、貨運清單擷取結構化資料：用規則式 precision/recall（精確率是擷取的欄位有多少確實存在原文，召回率是該抓的欄位抓到多少）當獎勵，在雜訊多的真實文件上，欄位層級準確率上升。第三類是內容審核：用 Cloud Run（Google Cloud 的託管執行環境）上的獎勵結合格式驗證與確定性評分器，大幅減少誤判，也不再出現 reward hacking（模型鑽評分規則漏洞拿高分）。第四類是 SQL 或 API（應用程式介面，程式之間互相呼叫的管道）呼叫：程式在安全的 sandbox（隔離執行環境）中執行，能編譯、能執行且結果正確才給分。原文表示，模型首次嘗試就能產出可執行的查詢，品質達 closed-frontier（封閉前沿模型，指不公開權重的頂尖商用模型）水準，推論成本也較低。第五類是 HTML/CSS（網頁結構與樣式語言）簡報：渲染後評估視覺與版面，產出的簡報沒有版面溢出。 Google Cloud Blog (AI)

對使用者的意義

原文的對象是用 Gemini 這類專有模型、拿不到模型內部的外部客戶。開始使用時，需要準備兩樣東西。第一是資料集：一組多樣的提示詞，加上 held-out validation split（驗證集，預先保留、不參與訓練、專門用來檢查成效的資料），就足以做第一次訓練；訓練資料與評估資料要嚴格分開。第二是獎勵函式，原文稱它是品質的主要決定因素。遇到格式錯誤的輸出時，應回傳明確的負分，而不是讓程式當掉。防範 reward hacking 的做法包括：組合多個評審、懲罰過長的回應、對 degenerate outputs（退化輸出，指品質崩壞、沒有實質內容的回應）給最低分，並優先用可驗證的檢查，而不是模型的意見。獎勵函式上線前要先離線驗證。其餘由服務處理：從預設值開始，在 console（主控台）觀察獎勵與評估曲線，並選驗證獎勵飽和時的檢查點，而不是最後一步。 Google Cloud Blog (AI)

限制與未定事項

原文明說，RLFT 能讓模型偶爾的成功變得穩定，但教不會模型從未展現過的技能。基礎模型成功率太低時，RL 難以發揮作用，需要先做 SFT。這段 SFT 不宜過度擬合示範資料，否則會壓縮 RL 的改進空間。 Google Cloud Blog (AI)