背景
AI 推論工作負載具有高度動態性，涵蓋新模型、硬體平台、客戶及使用案例等多種變數。隨著 Transformer 架構問世約 11 年，開源大型語言模型（LLM）的架構差異依然顯著，且不同客戶的流量特徵（如批次大小、序列長度、MoE（混合專家模型）專家負載不平衡）各異。此外，H100、B200、Groq 等不同硬體需要不同的優化策略。傳統的人工優化或依賴固定規則的編譯器難以應對這種規模的變化，而代理式系統（Agentic systems）雖具潛力，卻常受限於實驗速度。 官方原文・Together AI Blog
發生什麼事
Together AI 於 2026 年 11 月 4 日發布 Together Compiler（TKCC），這被描述為首個真正持續的優化迴圈，利用高吞吐量代理程式來優化多樣化的推論工作負載。TKCC 在不到 24 小時內，將 Kimi K3、GLM 5.3、MiniMax M3.1-Flash 和 DeepSeek v4.1-Flash 等前沿開源模型的每秒 Token 數（TPS，Tokens Per Second）提升最高 2.6 倍。 官方原文・Together AI Blog
重點內容
TKCC 的核心機制包括「持久引擎」（persistent engines）概念，引擎啟動一次後可熱重載候選前向傳遞，無需重新啟動，從而最大化實驗吞吐量並減少 GPU 閒置時間。系統生成多個代理程式，透過訊息板溝通以並行生成優化想法。此外，TKCC 採用分層引擎策略平衡測量吞吐量與保真度：「快速引擎」載入少量層以進行快速迭代，「較慢引擎」載入多層以驗證真實資料分佈下的優化效果。 官方原文・Together AI Blog
在效能表現上，TKCC 在 SemiAnalysis 的 InferenceX 基準測試中創下低延遲領域的最新紀錄，MiniMax M3.1-Flash 達到 1111 TPS，DeepSeek v4.1-Flash 達到 1205 TPS。在 Llama 1B 批次大小 1 的 MegaKernel 工作負載中，TKCC 比可用的開源 MegaKernel 高出 1.7 倍 TPS。其實驗吞吐量比基準代理式效能優化系統高出 252 倍。 原文
TKCC 不僅限於語言模型推論，還應用於天氣建模、偏微分方程（PDE）、時間序列和生物學等領域。系統使用自訂成本模型來選擇並行策略（如 TP（張量並行）、EP（專家並行）、DCP（來源未提供縮寫定義）），該模型結合硬體規格、微基準測試和測量前向傳遞，以快速剪枝配置搜尋空間。與僅使用 Claude Code 的 /goal 指令相比，TKCC 在這些跨領域工作負載中展現出幾何平均加速比。 原文
對使用者的意義
TKCC 目前已在 Together AI 的平台上服務數兆個 Token。對於開發者與企業而言，這意味著推論服務能自動適應流量波動，例如不同國家用戶的提示長度差異（觀察到 1.4 倍差異）或新模型發布後兩週內提示長度增加 80% 的趨勢。系統能自動調整以應對突發流量，無需人工針對每個新部署進行專門優化。 官方原文・Together AI Blog
限制與未定事項
在 Trainium2 硬體上的測試使用了合成多輪資料集（70k 輸入序列長度，3.5k 新輸入序列長度，95% 快取，700 輸出序列長度），而非 AgentX 基準，原因是其實作尚未支援在有限的高頻寬記憶體（HBM，High Bandwidth Memory）容量下處理更高的並發量。 官方原文・Together AI Blog
