背景
對話式 AI 正改變人機互動方式，從虛擬助理到即時翻譯，語音介面成為主流。然而，提供自然的語音體驗面臨巨大挑戰，因為使用者期待類似人類的反應速度。傳統基於 Transformer 的文字轉語音（TTS）模型在處理串流延遲時表現不佳，因為它們通常需要處理整個序列後才產生輸出，導致高品質往往伴隨高延遲。為解決此問題，Cartesia 採用狀態空間模型（SSM，一種將序列視為隨時間連續演化系統的神經網路架構），以克服傳統架構的限制。 AWS ML Blog
發生什麼事
AWS 合作夥伴 Cartesia 推出專為即時語音 AI 打造的應用程式，利用 SSM 架構在 AWS 基礎設施上實現全球規模的低於 100 毫秒文字轉語音與語音轉文字服務。Cartesia 由 SSM 領域的先驅研究人員創立，其核心應用包含兩個生產級模型：Sonic（文字轉語音）與 Ink（語音轉文字），兩者均針對低於 100 毫秒的首位元組延遲進行最佳化，同時維持錄音室級別的輸出品質。 AWS ML Blog
重點內容
Sonic 是 Cartesia 的旗艦串流文字轉語音模型，具備約 90 毫秒的首個音訊位元組延遲，支援超過 44 種語言的自然語調與情感表達。該模型支援僅需 10 秒音訊樣本即可建立自訂聲音的語音複製功能，並採用原生串流架構，在接收完整文字輸入前即開始生成音訊。Sonic 建議用於希望以最少營運負擔快速投入生產的團隊，開發者可透過呼叫 API 即時接收串流音訊。 AWS ML Blog
Ink 是專為對話式 AI 應用打造的串流語音轉文字模型，具備原生輪次偵測功能，能自動識別說話者何時結束發言，無需額外的語音活動偵測（VAD，偵測是否有聲音的技術）或端點偵測模型。Ink 利用語義理解區分句中的停頓與真正的對話邊界，並即時輸出部分轉錄文字，讓下游的大型語言模型（LLM，大型語言模型）能在輪次結束前開始形成回應。此外，Ink 在噪音環境下仍能維持準確度，並能處理重疊說話與說話者轉換。 原文
在 AWS 部署方面，Cartesia 提供兩種主要模式。Sonic 以 Amazon SageMaker AI 模型套件的形式透過 AWS Marketplace 交付，開發者可將其部署至完全運行於虛擬私有雲（VPC，AWS 提供的隔離網路環境）內的 SageMaker AI 端點，確保推論資料不離開使用者帳戶。部署 Sonic 3.6 版本需從模型套件的支援即時推論執行個體類型中選擇，例如 ml.g6e.xlarge 或更大、ml.g7e.2xlarge 或更大、ml.g7.2xlarge 或更大、ml.p5.48xlarge 或 ml.p5en.48xlarge。Ink 目前則透過 Cartesia API 提供，可透過 AWS Marketplace 上的 Cartesia Voice AI Platform 清單購買。 原文
對使用者的意義
開發者與企業可利用這些模型構建感覺與人類對話無異的語音體驗，適用於客服中心、遠距醫療、遊戲虛擬角色、無障礙輔助工具以及銷售代理等場景。對於需要資料主權、延遲控制或合規性的企業，可直接在自己的 AWS 帳戶中部署 Sonic 模型，透過 Amazon SageMaker AI 端點進行管理，並使用 SageMaker 或 Boto3 SDK（AWS 開發工具包）建立端點。這使得開發者能夠在確保資料隱私的同時，獲得低於 100 毫秒延遲的高品質語音合成與轉錄服務。 AWS ML Blog
限制與未定事項
Ink 模型目前僅透過 Cartesia API 提供，尚未提及是否提供類似 Sonic 的 SageMaker 私有部署選項。部署 Sonic 時，若選定的執行個體類型應用值低於當前使用量加上計畫中的端點執行個體數量，可能需要申請服務配額增加。此外，部署 Sonic 需要 AWS Identity and Access Management (IAM) 執行角色具備 AmazonSageMakerFullAccess 權限，以及訂閱 AWS Marketplace 清單所需的特定權限。 AWS ML Blog
