背景
Microsoft Copilot 服務於全球數百萬知識工作者，其背後的 AI 系統需要經過嚴格評測以確保準確性與安全性。然而，真實的企業資料包含敏感資訊，在任何情況下都不能用於評測，這構成了評測企業級 AI 的核心矛盾。為了在不接觸客戶資料的前提下，模擬真實組織的複雜性（如報告結構、專案歷史、溝通模式），Microsoft 建立了 Industry Evaluation Data Generation Platform（產業評測資料生成平台）。 官方原文・Microsoft Research Blog
發生什麼事
Microsoft Research 於 10 月 30 日發布了這套平台，旨在建立 Microsoft Copilot 的首個標準化評測基準。該平台透過三個核心支柱運作：合成企業環境、自動化查詢生成管線，以及結構化品質框架。這些環境被稱為「tenant」（租戶，指具有獨立使用者、資料和設定的隔離組織環境），完全由合成資料構成，不含任何客戶資料。 官方原文・Microsoft Research Blog
重點內容
合成環境的真實性建立在公開可用的真實世界資料來源上，包括美國勞工部的 O*NET 職業資料庫、線上職缺資訊以及 SEC（美國證券交易委員會，負責監管美國證券市場的機構）文件。O*NET 資料用於調整合成員工的角色與工作活動頻率；線上職缺提供角色頭銜與部門組成；SEC 文件則反映組織規模與財務背景。這些環境並非靜態快照，而是模擬隨時間演變的動態組織，包含會議歷史、專案時間軸與郵件執行緒，以應對如「團隊上週四決定了什麼？」這類具時間意識的查詢。 官方原文・Microsoft Research Blog
平台生成了三種不同產業的合成環境：製藥業（包含監管提交與臨床試驗討論）、資本市場（包含交易管道與合規溝通）以及 IT/軟體公司（包含衝刺規劃與程式碼審查）。為了生成評測查詢，Microsoft 建立了一個六階段自動化管線，將通用的工作任務想法轉化為符合特定產業語境的真實問題。該管線利用 AI 生成基於合成環境資料的查詢，並經過重寫與驗證，確保其自然度與獨特性。 原文
在品質驗證方面，內部語義評測框架從結構保真度、上下文相關性、行為真實性與內容安全性四個維度進行評估。結果顯示，與初始生成方法相比，複合品質指標提升了 39%，部分產業環境的品質分數超過 0.9（滿分 1.0）。自動化將評測資料集的創建從多天的手動過程縮短為自動執行，估計每個評測資料集節省約 100,000 美元，專案總計節省 300,000 美元。 原文
對使用者的意義
這套平台已發布至 Microsoft 內部共享目錄，供跨團隊重複使用。由於所有資料均為合成且經過安全篩檢，團隊無需隱私審查即可自由用於實驗、基準測試與迴歸測試。這意味著 Microsoft 內部開發團隊能更快速迭代 Copilot 的功能，同時確保系統在處理企業資訊時的可靠性與信任度，最終讓外部企業使用者受益於更穩定的 AI 輔助體驗。 官方原文・Microsoft Research Blog
限制與未定事項
Microsoft 表示，隨著 Copilot 從單輪問答擴展到多步驟代理工作流（agentic multi-step workflows，AI 系統執行多步驟任務而非僅生成文字），評測挑戰也在增加。Microsoft 指出，未來將面臨評估多輪代理互動品質、擴展合成環境以捕捉數月或數年的組織動態，以及為採取行動而非僅生成文字的 AI 系統建立評測框架等挑戰。這些後續發展方向目前仍在進行中。 官方原文・Microsoft Research Blog
