輝達 Vera CPU 轉向單晶片設計，鎖定代理式 AI 低延遲

發生什麼事

輝達（NVIDIA）Vera 團隊近日表示，過去業界以 chiplet（晶粒化設計，把多顆小晶粒封裝成一顆處理器）堆疊核心數，有助擴充規模，但以犧牲單執行緒效能為代價；代理式 AI 快速成長，這種取捨到了重新檢視的時刻。BlockTempo 指出，這些說法出自 Wccftech（科技媒體）的獨家專訪。 TechNews 科技新報 動區動趨 BlockTempo

Vera 是輝達的 CPU（中央處理器），採 monolithic（單晶片，所有核心放在同一片矽上）設計。BlockTempo 轉述團隊說法：核心之間溝通不需跨越 I/O（輸入輸出）邊界，因此消除 chiplet 之間的延遲懲罰。 TechNews 科技新報 動區動趨 BlockTempo

TechNews 指出，代理式 AI（Agentic AI，需在工具呼叫、檢索、推理與隔離執行之間頻繁切換的 AI 應用）對延遲、記憶體存取一致性與即時反應力要求更高。輝達將 Vera 定位為處理 AI 代理工作流程的「協調者」，而非追求通用運算吞吐量的傳統伺服器處理器。 TechNews 科技新報

BlockTempo 轉述團隊說法：GPU（圖形處理器，AI 運算的主力晶片）是最貴的運算資產，AI 代理在 GPU 與 CPU 之間高速迴圈運作，CPU 必須在最短時間內完成順序任務、把控制權交還 GPU，否則 GPU 會空轉。 動區動趨 BlockTempo

規格方面，TechNews 依公開產品資訊指出，Vera 已用於 HPE ProLiant Compute DL394 Gen12（HPE 的伺服器機型）等 2U（機架伺服器的高度規格）伺服器平台，採 88 核心、176 執行緒，搭配 LPDDR5X（低功耗記憶體規格）記憶體，提供最高 1.2TB/s 總記憶體頻寬，約相當於每核心 14GB/s。 TechNews 科技新報

TechNews 認為，單晶片設計放棄部分製造成本與良率優勢，換取更一致的延遲，避免因 NUMA（非一致性記憶體存取，不同位置的記憶體存取速度不一）造成不可預測的效能波動。 TechNews 科技新報

BlockTempo 報導輝達透露，Vera 相較前代 Grace（輝達上一代伺服器 CPU）快 1.5 倍，在 Python 指令碼、程式編譯等順序任務上比頂級 x86（PC 與伺服器主流的處理器架構）處理器快 2 倍；團隊並指出雙向頻寬達每秒 3.4TB，比頂級 x86 晶片高出 3 倍。 動區動趨 BlockTempo

Spatial Multithreading（空間多執行緒，輝達專利技術）負責把「工作執行緒」與「I/O 執行緒」分離。BlockTempo 指出，第三方硬體評測 Phoronix 實測此設計帶來約 20% 的效能增益。 動區動趨 BlockTempo

BlockTempo 報導，輝達原先將 Grace 定位為機櫃內負責餵資料給 GPU 叢集的「主機節點」，但團隊在客戶實際使用中發現，大量代理工具呼叫與強化學習（以獎勵訊號訓練模型的方法）任務需要「一整櫃純 CPU」。因此 Vera 除了作為 Vera-Rubin 超級晶片架的元件，也要獨立銷售。 動區動趨 BlockTempo

誰受影響

TechNews 指出，輝達與合作夥伴的設計重點已轉向代理式 AI、強化學習、即時分析與大規模資料處理等高度依賴記憶體頻寬的工作負載。BlockTempo 提到，部分代理沙盒（sandbox，隔離執行環境）供應商已為單一客戶部署多達 40 萬個沙盒。 TechNews 科技新報 動區動趨 BlockTempo

限制與未定事項

AI 環境中 CPU 與 GPU 的比例會走向何方，團隊坦言沒有官方答案，但相信比例正在往 CPU 傾斜。 動區動趨 BlockTempo

接下來要看的事

• Vera 獨立銷售純 CPU 機櫃的後續進展（BlockTempo 報導 Vera 要獨立銷售）
• AI 環境中 CPU 與 GPU 比例的走向（團隊表示目前沒有官方答案）