Exowatt 利用 SageMaker 無伺服器微調，邊緣模型準確度勝過前沿模型且成本降低 49 倍

背景

Exowatt 是一家開發模組化、可調度太陽能系統的廠商，其旗艦產品 Exowatt P3 透過光學透鏡收集太陽能，並儲存於長時熱電池中，再透過熱機按需供電。不同於併網光伏系統，P3 可直接為資料中心供電，協助資料中心無需等待多年的電網併入排隊即可上線。Exowatt 建立了一支 AI 代理（AI agents，能自主監控並執行任務的軟體程式）艦隊，用於監控和分診太陽能系統的即時警報，這些代理常部署在邊緣端（edge，靠近資料來源的本地硬體），面臨連線受限或無網路的環境。隨著系統從測試台擴展至數千個現場單位，操作這些系統的 AI 層必須具備可擴展性。 AWS ML Blog

發生什麼事

Exowatt 使用 Amazon SageMaker AI 無伺服器模型自訂功能（serverless model customization，無需管理伺服器基礎設施的模型訓練服務），建立了一條可重複的 AI 管線。該管線針對邊緣和雲端兩個部署目標，產出任務特定的微調模型。結果顯示，這些模型在特定任務上的準確度高於前沿模型（frontier models，指當前最先進的大型通用模型），且成本最高降低 49 倍。 AWS ML Blog

重點內容

Exowatt 面臨的主要挑戰在於，前沿模型無法有效解決其能源管理系統（EMS）的警報分診問題。首先，該任務狹窄且具專有性，依賴 Exowatt 特定的硬體、資料和操作邏輯；其次，代理必須在無 GPU 且常無網路的邊緣端運行，依賴雲端呼叫的前沿模型在連線斷裂時會失效；最後，在數千個站點持續將決策路由至前沿模型，成本無法擴展。此外，Exowatt 早期的微調工作流程需手動選擇開放權重模型、建置容器並建立自訂訓練配方，且需自行選擇 GPU 執行個體類型並等待容量，這嚴重阻礙了實驗速度。 AWS ML Blog

解決方案採用 Amazon SageMaker AI 無伺服器模型自訂服務，該服務提供來自 SageMaker Public Hub 的現成微調配方，避免了建置自訂訓練容器的繁瑣工作。無伺服器訓練按需分配容量，團隊無需等待特定 GPU 執行個體，僅需支付訓練作業執行時間的費用。該管線整合了 Amazon S3、SageMaker AI 無伺服器微調與評估、SageMaker Model Registry、Amazon Bedrock Custom Model Import、Amazon Bedrock（用於改寫訓練資料與基準測試）、以及 AWS Lambda 和 Amazon EventBridge 等服務，全程無需管理執行個體、叢集或端點。 原文

Exowatt 針對兩個主要用例實施了此方法。第一是邊緣警報分診，使用 Qwen3-1.7B 模型。該模型經過低秩適應（LoRA，一種參數高效微調技術）和监督微調（SFT）後，被凍結並量化為 GGUF 格式，在邊緣端的 Kubernetes 容器中透過 llama.cpp 運行，無需 GPU 且可在無網路環境下運作。第二是雲端能源市場分析，使用 Qwen3-14B 模型，透過 Amazon Bedrock Custom Model Import 託管，僅在模型活躍時計費，無閒置成本。訓練資料的改寫（paraphrase）分別使用 Amazon Bedrock 上的 Qwen3-VL-235B（警報分診）和 Claude Sonnet 4.6（能源市場）。 原文

對使用者的意義

對於開發者與企業而言，此案例展示了如何透過無伺服器架構將模型微調從稀缺的排程事件轉變為常態化的按需操作。Exowatt 現在能在數天內完成從原始操作資料到認證訓練集、微調模型及評估部署工件的流程，而非過去所需的數月。這種方法適用於警報分診和能源市場分析等狹窄且高價值的任務，並可擴展至艦隊中的其他任務。開發者可以利用 SageMaker Public Hub 的配方快速實驗，無需擔心 GPU 容量管理，從而加速模型迭代。 AWS ML Blog