Databricks 推 ai_extract 與 MLflow 工作流提升文件擷取準確度

背景

在處理大量非結構化文件時，開發者常面臨一個困境：針對單一欄位的錯誤進行修正後，雖然該欄位準確度提升，卻可能導致其他欄位出現回歸錯誤，或因大型語言模型（LLM，大型語言模型）運行的隨機性而產生誤判。Databricks 指出，隨著欄位數量與文件格式增加，這種「局部修正」的方式變得不可靠，需要系統化的評估與版本控制機制來確保整體擷取品質。 Databricks Blog

發生什麼事

Databricks 於 2026 年 10 月 27 日發布技術文章，介紹如何結合 ai_extract 函數與 MLflow Prompt Registry（MLflow 提示詞註冊表，用於管理與版本控制提示詞的工具）來改善文件擷取準確度。該方法透過建立可重複的評估迴路，讓開發者能在將變更部署至生產環境前，先驗證其對整體系統的影響。 Databricks Blog

重點內容

Databricks 建議將擷取邏輯分為三個層級來管理：首先，使用 JSON Schema（結構化資料定義格式）來定義輸出欄位及欄位特定的規則，例如使用 enum（枚舉，限制值只能從特定清單中選擇）約束有效值，或在描述中指定保留前導零、排除狀態詞等細節；其次，使用全域提示詞（Global Instructions）處理文件層級的邏輯，如來源優先順序、跨欄位一致性規則或禁止使用的文件區域；最後，對於結構複雜的文件（如大型表格或多頁版面），啟用 precision mode（精度模式，針對複雜結構優化的處理模式）以提升解析能力。 Databricks Blog

為了避免修改提示詞或 Schema 時需要重新部署程式碼，Databricks 建議將這些設定存入 MLflow Prompt Registry，並透過 aliases（別名，用於指向特定版本的標籤）來部署或回滾變更。此外，評估過程應基於經過人工審核的基準資料（Ground Truth），比較不同候選版本的準確率、覆蓋率以及運行間的變異性。Databricks 舉例說明，若僅針對「revision」欄位進行 Schema 微調，雖然該欄位錯誤減少約一半，但整體擷取錯誤卻增加了 9%，突顯了系統性評估的必要性。 原文

Genie Code for document processing 被介紹為自動化此工作流的工具。它能自動建立包含 ai_parse_document、ai_classify 和 ai_extract 的 Lakeflow 作業，並執行「爬山演算法迴路」（hill-climbing loop，一種逐步改進並驗證效果的優化過程）：先針對標註資料逐欄位評分，提出 Schema 或指令的修正建議以供審核，然後重新運行評估以顯示修改前後的效果。這使得開發者能透過自然語言指令（例如「評估擷取結果並告訴我哪些欄位最弱」）來驅動優化過程。 原文

對使用者的意義

對於使用 Databricks 平台處理文件擷取的開發者與企業而言，這套工作流提供了從「憑感覺修正」到「數據驅動優化」的路徑。使用者可以將提示詞與 Schema 視為版本化的資產進行管理，利用 Genie Code 自動識別弱項欄位並提出改進建議，同時確保每次變更都經過基準資料的驗證，從而降低回歸錯誤的風險並提升生產環境的穩定性。 Databricks Blog