背景
Kimi K3 是由 Moonshot AI 提供的多模態開放權重基礎模型（FM，Foundation Model）。Amazon Bedrock 是 AWS 提供的託管服務，讓開發者可以透過 API（應用程式介面）呼叫各種大型語言模型。為了滿足特定地區對資料主權（Data Residency，資料必須留在當地）的嚴格要求，AWS 在原有的全球與美國境內推論之外，新增了印度境內的推論支援。 AWS ML Blog
發生什麼事
Amazon Bedrock 現已支援在印度基礎設施上執行 Kimi K3 的推論。用戶可以透過跨區域推論設定檔（Cross-Region inference profiles）來選擇處理位置。除了推薦用於大多數用例、成本最低且可用性最廣的「global.moonshotai.kimi-k3」設定檔外，還提供了「in.moonshotai.kimi-k3」設定檔，確保推論處理僅限於印度的孟買（Mumbai）和海得拉巴（Hyderabad）區域。 AWS ML Blog
重點內容
跨區域推論由 AWS 全權管理，資料在區域間傳輸時會加密，並保持在 AWS 網路內，不會經過公共網路，用戶也無需自行設定多區域 VPC（虛擬私有雲）基礎設施。AWS 建議使用短效憑證而非長期 API 金鑰。官方提供了 AWS Bedrock Token Generator for Python 工具庫，可從標準 AWS CLI（命令列介面，用打字下指令操作電腦的方式）憑證鏈衍生出短期、類似 API 金鑰的 token（令牌）。該 token 預設有效期為 12 小時，且實際有效期取決於請求的過期時間與 AWS 憑證過期時間中的較短者，過期後需重新生成，無法刷新或延長。 官方原文・github.com AWS ML Blog
AWS 展示了利用 Kimi K3 進行 Indic 語言（如印地語）文件 OCR（光學字元辨識）與理解的範例。Kimi K3 可直接讀取並推理包含多語言文字的圖片，無需單獨的 OCR 或翻譯服務。在一個合成印地語電費單的測試中，模型能直接從文件中提取數據並回答混合印地語與英語（Hinglish）的後續問題。例如，針對「帳單多少錢？最後繳費日何時？遲繳要付多少？」的問題，模型回答總額為 ₹2,217.20，最後期限為 2026 年 10 月 20 日，遲繳金額為 ₹2,261.54。 原文
開發者可以建立結構化提取流程，使用靜態提示詞從大量文件中提取一致的欄位。Kimi K3 支援透過函式呼叫（function calling）或提供 JSON Schema 輸出格式來強制結構化輸出。完整的範例程式碼包含一個端到端流程：先以原始文字進行 OCR 轉錄，接著使用可配置的 Schema 提取關鍵欄位為 JSON 格式（日期正規化為 ISO 8601，天城文數字轉換為西方數字，姓名轉寫為英文），撰寫英文摘要，並回答關於同一文件的 Hinglish 多輪後續問題。 原文
對使用者的意義
對於有嚴格資料主權要求的印度本地工作負載，此功能解除了使用限制。企業用戶如 Ultrahuman 已將其應用於生產環境。Ultrahuman 的工程副總裁 Aditya Patawari 表示，他們在 Ultrahuman 應用程式中的 AI 健康與健康助理 Jade，每天處理超過 14,000 次對話，利用 Kimi K3 讓健康資料留在 AWS 和孟買區域內，並透過 prompt caching（提示快取）將 LLM（大型語言模型）成本降低了 80%，多輪聊天速度提升了 85%。開發者需具備 AWS 帳號、Python 3.11 或更高版本，以及配置好權限的 AWS CLI。 AWS ML Blog
限制與未定事項
使用印度地理推論設定檔時，用戶需確保 IAM（身分與存取管理）政策允許從來源區域路由到印度的兩個目的地區域。若組織限制 AWS 區域，需請管理員審查地理跨區域推論的 IAM 和 SCP（服務控制政策）指南。此外，AWS 建議在可能的情況下使用短效憑證，並遵循最小權限原則，確保底層憑證僅具有所需的最小權限。 AWS ML Blog 官方原文・github.com
接下來要看的事
- 印度境內推論的具體定價與全球推論相比有何差異？
- 除了印度，AWS 是否計劃在其他國家推出類似的境內推論選項？
- Kimi K3 在處理非 Indic 語言文件時的 OCR 準確率表現如何？
