AWS 發布 SageMaker AI 部署 llama.cpp 決策模型範例
AWS 提供官方範例，展示如何在 Amazon SageMaker AI 上透過 llama.cpp 部署 Qwen3.5-4B 模型，支援文字生成與結構化決策兩種路徑。
- 本站上線
- 2026/10/15 上午06:19
- 首次報導
- 2026/10/12 下午11:51
- 最早來源發布
- 2026/10/12 下午11:51
發生什麼事
AWS 於 2026 年 10 月 12 日發布技術文章，說明如何在 Amazon SageMaker AI 上部署基於 llama.cpp 的決策模型。該方案使用 AWS Deep Learning Container (DLC) 提供 OpenAI 相容的聊天補全 API，並透過 SemIf 擴充功能回傳預定義選項的機率分數。 AWS ML Blog
重點內容
部署路徑分為兩類：標準文字生成路徑直接使用發布的 DLC 映像檔；結構化決策路徑需透過 AWS CodeBuild 建立子映像檔並推送至 Amazon ECR。模型以 GGUF 格式封裝，預設使用 Qwen3.5-4B Q4_K_M 版本。基準測試顯示，在 ml.g6e.xlarge GPU 實例上，p50 延遲為 0.352 秒，p95 延遲為 0.599 秒，準確率為 77.9%；CPU 配置 (ml.c6i.8xlarge) 的 p50 延遲為 1.715 秒，準確率為 77.5%。 AWS ML Blog 官方原文・github.com
限制與未定事項
SemIf 擴充功能非 DLC 內建模式，需自行建置映像檔。系統預設一次只處理一個模型操作，若並發請求會回傳 HTTP 503 錯誤。共享狀態評分僅適用於相同狀態的多個決策，無法降低單一決策的延遲。模型機率為非確定性訊號，不應用於授權或確定性政策執行。 官方原文・github.com AWS ML Blog
來源 3 筆
- 官方原文github.com · sagemaker-genai-hosting-examples/03-features/semif-decision-model at main · aws-samples/sagemaker-genai-hosting-examples
- AWS ML Blog · Deploy decision models with llama.cpp on Amazon SageMaker AI10/12 下午11:51
- 官方原文github.com · GitHub - ggml-org/llama.cpp: LLM inference in C/C++（參考，正文未引用）
這篇對你有用嗎？
登入會員後可以按反應與留言。登入
留言 0
- 還沒有留言。
留言公開顯示暱稱，不顯示你的真實姓名與信箱。含多個連結或疑似廣告的留言會先經編輯確認；檢舉達 3 次的留言會自動隱藏。隱私政策
發現錯誤？
回報會進入待處理清單；核實後更正，並在文中註記更正紀錄。