Property Finder 修正評估偏差，在 Amazon Bedrock 上以更低成本提升模型準確率

背景

Property Finder 是一家數位房地產應用程式，每日處理中東與北非（MENA）地區數萬張房產圖片。其系統需對每張圖片評估 11 項品質屬性，包括浮水印偵測、房間分類、傢俱狀態、照片品質及建築指標等。在遷移視覺 AI 工作負載至 Amazon Bedrock 以尋求更具成本效益的方案時，工程團隊發現評估方法本身存在問題，阻礙了客觀的模型比較。 AWS ML Blog

發生什麼事

Property Finder 的工程團隊發現，其評估標籤中有 96.8% 直接繼承自單一現有模型的預測結果，而非經過人類專家驗證。這種情況導致基準資料（ground truth）系統性地偏向現行模型，使得任何替代模型在評估中看起來表現較差。此外，標籤中還存在錯誤，例如浮水印文字擷取有字元級錯誤卻被標記為正確，以及將包含多種房間類型的圖片強制標記為單一標籤。 AWS ML Blog

重點內容

為了打破循環，團隊建立了由人類專家獨立標註的新基準資料集。他們手動標註了 356 張阿聯酋（UAE）圖片，其中前 256 張作為開發集，其餘 100 張作為最終評估集。標註工作由具備房地產_listing_品質標準專業知識的策略與分析專家完成，並透過 AWS Generative AI Innovation Center 團隊的系統性品質審查來確保一致性。同時，系統從單標籤分類轉變為多標籤分類，以解決如「透過門口看到臥室的走廊照片」這類真實場景中的模糊性問題。 AWS ML Blog

在評估指標方面，團隊主要使用 Micro F1 分數，因為它對每個預測賦予相同權重，符合整體標籤正確率的業務目標。同時也報告 Macro F1 分數，以捕捉 Micro F1 可能掩蓋的稀有屬性表現不佳的情況。此外，還使用了每標籤精確率與召回率，以及每樣本交併比（IoU，衡量預測標籤與專家標籤重疊程度的指標）來識別具體失敗模式。對於旋轉或浮水印偵測等九個單標籤屬性，則使用完全匹配準確率進行評分。 原文

優化過程採用類似強化學習的迴圈，將每個提示（prompt）版本視為代理，Micro F1 分數作為獎勵信號，錯誤分析作為改進梯度。這類似於 GEPA（Genetic-Pareto reflective prompt evolution，一種遺傳帕累托反思提示演化方法），透過突變提示組件、評估適應度並選擇存活者來迭代。團隊從 v0 迭代至 v27，早期版本由 AWS 團隊透過錯誤分析手動優化，後期版本則使用 AI 助理輔助，並結合 DSPy 函式庫中的 MIPROv2（自動提示優化框架）進行自動化優化。 原文

對使用者的意義

透過修正評估偏差並應用演化式提示優化，Property Finder 在 Amazon Bedrock 上選定了合適的模型，實現了更高的準確率，同時成本降低了 86%。這顯示在遷移模型或評估新模型時，確保評估標籤獨立於現行模型預測結果的重要性，否則可能導致錯誤的模型選擇決策。 AWS ML Blog