Visko 在 30 天內將即時世界模型 Orbis 移植至 Cloud TPU，達 1.07 倍播放速度

背景

Visko 所稱的 Live Models（即時模型），是會持續生成影片並即時回應觀眾指令的影片世界模型。依 Google Cloud Blog 的說明，離線影片生成是使用者送出提示後排隊等成品；即時世界模型則是連續串流，每一段新影片與同步音訊都必須在觀眾看完前一段之前算完，否則畫面就會停住。這次部署用到的 torchax 是由 Google Cloud 內部團隊維護的開源套件，讓 PyTorch（常用的機器學習框架）程式能在 Google Cloud TPU（Google 設計的 AI 加速晶片）上執行，並與 JAX（Google 為加速器設計的高效能 Python 陣列運算函式庫）互通。 Google Cloud Blog (AI) 官方原文・github.com

發生什麼事

Visko 執行長 Will Yin 與 Google Cloud 開發者關係工程師 Ivan Nardini 在 Google Cloud Blog 撰文說明，Visko 於 2026 年 8 月與 Google Cloud TPU 工程師合作，把旗艦模型 Orbis 的即時管線移植到 TPU，從啟動到交付正式環境共 30 天。整條管線包含影片生成、超解析度放大（把低解析度畫面放大成高解析度）與同步音訊，全部跑在單一 Cloud TPU slice（一組彼此連接的 TPU 晶片）上，端到端生成速度為播放速度的 1.07 倍。 Google Cloud Blog (AI)

Orbis 於 2026 年 9 月 1 日推出公開展示，可從單一文字或圖片提示開始串流影片。播放過程中，觀眾可隨時輸入新的引導提示改變場景，不必重新開始。文章舉的測試例子是：直播一開始是貓在壁爐旁打盹，觀眾要求加入一碗食物後，碗出現在畫面中，貓伸懶腰、站起來並喵叫。 Google Cloud Blog (AI)

重點內容

文章指出，每一段影片都要完成去雜訊（擴散模型把雜訊逐步還原成畫面的步驟）、從 latent（模型內部的壓縮表示）解碼、放大到 1664x936（18 fps，每秒 18 格畫面），再配上生成的音訊，且整體要比即時播放更快。兩項結構限制讓難度提高：一是批次大小（一次同時處理的請求數）只有 1，每條串流對應單一觀眾，無法靠合併大量請求來填滿加速器；二是嚴格的前後依賴，模型保留近期影片 latent 的滾動記憶，讓下一段接續上一段的動作，因此不能預先或亂序生成。 Google Cloud Blog (AI)

三個生成模型（核心影片擴散模型、超解析度放大模型、音訊生成模型）以 BF16（一種 16 位元浮點數格式）精度共用同一個 TPU slice 的晶片，每段輪流使用硬體。軟體堆疊建立在 JAX、torchax 與 Pallas（在 JAX 中為 TPU 撰寫自訂運算核心的程式語言）三個開源工具上。經過逐階段分析與最佳化，每段的總延遲低於目標，並保留約 7% 的餘裕吸收直播時的波動；影片去雜訊約占總運算預算的近三分之二，因此成為主要最佳化對象。 Google Cloud Blog (AI)

文章列出的最佳化包括 Ulysses context parallelism（把輸入序列切分到多顆晶片上平行處理的方法）。影片段落在 transformer（影片模型採用的神經網路架構）中會展開成大量時空 token（模型處理資料的基本單位）；做法是把 token 序列分給各晶片，在注意力層前透過 all-to-all（每顆晶片彼此互換資料）重新分組，讓每顆晶片持有完整序列、但只負責四分之一的注意力頭（注意力層中平行運算的子單元），算完後再以第二次 all-to-all 換回原本的切分方式。另一項是採用來自 MaxDiffusion（Google 以 JAX 撰寫的開源擴散模型程式庫）的自訂 Pallas splash attention（以 Pallas 寫成、在 TPU 上計算注意力的運算核心）。 Google Cloud Blog (AI)

對使用者的意義

文章提到 Orbis 可用於互動娛樂、直播電商、AI 陪伴、沉浸式教育與機器人模擬，並把這次經驗定位為給在 Google Cloud 上打造超低延遲生成式 AI 的新創參考。Google Cloud AI 開發者倡議負責人 Dave Elliott 表示，這次合作顯示精簡的新創團隊能很快從 PyTorch 原型做到 1.07 倍播放速度。對已有 PyTorch 程式的開發者，torchax 讓現有元件不必先整個重寫就能搬上 TPU。依 GitHub 說明，先安裝 CPU 版 PyTorch，在 TPU 上以 pip（Python 套件安裝工具）執行 pip install -U jax[tpu]，再執行 pip install torchax，接著呼叫 torchax.enable_globally()，把模型與輸入放到 'jax' 裝置即可執行。 Google Cloud Blog (AI) 官方原文・github.com

限制與未定事項

1.07 倍播放速度與約 7% 餘裕，是在單一 Cloud TPU slice、BF16 精度、批次大小 1 的條件下取得的結果。torchax 在 GitHub 的引用資訊中標示版本為 0.0.4，日期為 2025-02-24；說明文件也指出 eager mode（逐行即時執行）可以執行模型，但要較好的效能需改用 jax.jit 編譯。 Google Cloud Blog (AI) 官方原文・github.com