KDDI 打造消費者 RAG 應用 Buffmee，總回應延遲降低 38%

背景

Buffmee 是日本主要電信商 KDDI 推出的互動式 AI 服務，概念是「幫助你成長的 AI」。它屬於 RAG（Retrieval-Augmented Generation，檢索增強生成，先找出相關資料再讓模型依據資料回答）應用，以書籍、雜誌、網路媒體等超過 100 個來源作為回答依據，並標示出處。原文指出，團隊上線前需要處理大量自有內容，卻遇到延遲過高、達不到目標回應時間的問題，也需要可靠的方法避免幻覺（模型編造不存在的內容）。 Google Cloud Blog (AI)

發生什麼事

Google Cloud Blog 於 2026 年 9 月 8 日刊出由 KDDI 的 Junichi Kashino 與 Google Cloud Japan 的 Miki Katsuragi 撰寫的文章，說明 KDDI 與開發夥伴 KDDI iret、Google Cloud Consulting 合作的做法。成果是總回應延遲降低 38%，達到目標；TTFT（Time To First Token，從送出問題到模型產出第一個 token 的時間，token 是模型處理文字的基本單位）改善近 18%。KDDI AI Product Department 的 Shunya Onoda 表示，他們的願景是內容一匯入就能立即成為可運作的 RAG 系統。 Google Cloud Blog (AI)

重點內容

評估方面，團隊使用 Gemini Enterprise Agent Platform Evaluation Service（Google 的 AI 評估服務），以 LLM-as-a-Judge（讓大型語言模型當評審替答案打分）取代人工測試，建立數百項自動化測試與基準資料集，依使用情境衡量答案可靠度。由 AI 產生問題並評分，人負責校準門檻與分析邊緣案例，groundedness（回答是否有來源依據）分數提升 25%。 Google Cloud Blog (AI)

速度方面，團隊導入 BigQuery Agent Analytics（分析 AI 代理運作日誌的工具）與 ADK（Agent Development Kit，建構 AI 代理的開發套件）的日誌分析代理，從正式環境日誌看出技能拆分方式與冗長的 system prompt（系統提示詞，預先規範模型行為的指示文字）如何拖慢 TTFT。之後他們精簡提示詞、把技能內嵌整合，並調整 sub-agent（子代理，負責特定工作的下層代理）的分派方式。 Google Cloud Blog (AI)

文章列出四項做法：關鍵指標從 1–5 分改為「通過（1）／不通過（0）」二元評分以降低雜訊；依檔案格式（網頁文章、EPUB 電子書、PDF、結構化資料）與媒體組成（以文字為主、以圖片為主、混合）的二維表格挑代表樣本，評估工作量減少 75%；由產品負責人檢視隨機抽樣答案來校準上線門檻；超過 800 行的提示詞會造成注意力偏移與延遲，因此依功能拆成 ADK Skills，只動態載入需要的部分。 Google Cloud Blog (AI)

對使用者的意義

對 Buffmee 使用者來說，可透過互動問答與深入分析探索喜歡的媒體內容，並看到回答出處。對開發者，原文建議用 Gen AI evaluation service 系統化衡量品質，以 ADK 建構代理並刻意採用漸進式揭露（只在需要時才載入對應內容），再用 Agent Search 讓代理以檢索結果為依據並檢查檢索查詢。 Google Cloud Blog (AI)