Databricks 宣布 Spark 宣告式管線即時模式正式可用

背景

Apache Spark Structured Streaming 是 Spark 中用於處理串流資料的引擎。Real-Time Mode (RTM) 是該引擎的一種運作模式，透過持續串流資料、同時執行所有查詢階段並立即傳遞資料，達到毫秒級別的端到端延遲。Spark Declarative Pipelines (SDP) 是 Databricks 平台上用於建立串流與 ETL 管線的標準方式，自動處理相依性解析、增量處理、編排、故障恢復及資料品質強制執行。 Databricks Blog

發生什麼事

Databricks 於 2026 年 10 月 29 日宣布，Spark Declarative Pipelines (SDP) 上的 Real-Time Mode (RTM) 已正式可用（Generally Available）。此前，Databricks 曾推出 RTM 以支援低延遲操作型用例，此次更新將該功能整合進 SDP 框架中。 Databricks Blog

重點內容

RTM 在 SDP 上提供端到端毫秒級延遲，官方表示其處理速度比傳統微批次架構快達 100 倍。在實際客戶工作負載的基準測試中，RTM 在特徵計算任務上比 Apache Flink 快達 92%。GitHub 上的基準測試顯示，在無狀態查詢（Query A）中，Spark RTM 與 Flink 的 p50 延遲均為 1 毫秒；在有狀態聚合（Query B）中，Spark RTM 的 p50 為 7 毫秒，Flink 為 16 毫秒；在串流靜態連線（Query C）中，Spark RTM 的 p50 為 1 毫秒，Flink 為 32 毫秒。 Databricks Blog 官方原文・github.com

使用者可透過 ForEach sink 將資料寫入任何自訂儲存體，例如 Lakebase、Redis 或其他 OLTP 儲存體。這允許在特徵產生後數毫秒內將其存入操作型儲存體，無需離線到在線的同步過程。Databricks Feature Store 使用此架構，從 Kafka 到在線特徵儲存體的端到端 p99 延遲為 200 毫秒。 Databricks Blog

啟用 RTM 需要將管線模式設為 continuous，並設定 spark.databricks.streaming.realTimeMode.enabled 為 true。接著使用 dp.create_sink() 定義輸出目標，並使用 @dp.update_flow 裝飾器，將 pipelines.trigger 設為 "RealTime" 且 target 指向該 sink。SDP serverless 版本無需選擇計算資源或調整叢集大小，僅需支付查詢使用的核心費用。 原文

對使用者的意義

開發者可使用單一框架（SDP）處理批處理、ETL 及低延遲串流工作負載，無需維護 Apache Flink 等獨立引擎。這適用於詐欺偵測、即時個人化、即時推薦系統及即時特徵計算等場景。使用者可透過 Databricks 文件及程式碼範例開始使用 RTM on SDP。 Databricks Blog

限制與未定事項

官方提及未來將支援將多個 RTM 流程打包到單一管線以降低成本，並自動調整來源與 shuffle 分區。此外，將推出原生 Lakebase sink，具備內建批次處理、自動重試及 UC 管理的身份驗證功能。 Databricks Blog