Google TPU Sync 開源:AI 等第一個字,為何先要搬好 KV 快取?

Google TPU Sync 用分層記憶體和非同步傳輸搬運KV快取。解析首字等待60%至90%改善的測試條件、TPU支援、實驗功能與整合版本限制。

Share
Google TPU Sync 官方架構圖,從推論引擎與控制器連到 KV 快取管理、DMA 與共享儲存
Google Cloud 官方 TPU Sync 架構圖;虛線的強化學習相關模組仍須按實驗性範圍理解。 圖片來源:官方原文。

TPU Sync 想減少 AI 加速器等資料的時間。當模型已經讀過一段長文件,換一台機器繼續回答時,若必須重新讀取或花很多時間搬資料,使用者仍會卡在第一個字出現之前。

Google 在 2026 年 11 月 10 日的專文詳解這個開源程式庫,把 TPU 高速記憶體、伺服器主記憶體與跨機網路接成同一條資料搬運路徑。前一天官方也已在 TPU 平台公告列出這項能力。

它主要搬運模型讀過內容所留下的 KV 快取,以及訓練更新的模型數值。資料搬得快,可以減少重新計算和加速器空等,並不會讓模型因此更懂問題。

官方在指定大型模型和低並行條件下,報告第一個輸出單位的平均等待減少六成或九成。這些是七月內部實驗,不是所有 TPU、所有流量的共同保證。

我會建議已有 TPU 推論服務的團隊,先看等待發生在讀輸入、跨機搬運,還是生成回答。若瓶頸不在狀態傳輸,單獨採用這個程式庫就未必帶來同樣改善。

要判讀這次開源,先看 KV 快取保存什麼,以及為什麼模型已經讀過的內容還要搬到另一個位置。

TPU Sync 搬運讀過內容的狀態,減少重算

KV 快取保存模型處理過內容的中間結果,讓後續產生文字能重用過去的計算。它記的是這一次輸入的運算狀態,和模型長期學到、用來判斷如何回答的數值不同。

TPU 是 Google 為大量 AI 運算設計的加速器。模型在 TPU 上讀長文件、接續對話時,需要同時放得下模型本身和正在使用的快取,而晶片旁邊的高速記憶體容量有限。

若把可重用的內容丟掉,下一次相同要求進來,可能又要重新處理。TPU Sync 的做法,是把狀態移到伺服器主記憶體,等要用時再搬回來,讓較大的空間接手保存。

這也解釋它和增加模型知識的差別。快取能省下已做過的計算,但不會替回答加入模型從未看到的最新資料,服務仍需要另外安排資料來源與更新。

先看哪些內容值得留住

企業服務常有一大段共同指令,許多請求都會先讀同一份規則。如果每次重新計算,使用者即使只問一句短問題,也會等待那段固定內容被再次處理。

這種共同開頭稱為前綴。快取能讓後續請求重用已處理的前綴,價值取決於工作是否真的重複相同內容。若每次都是全新輸入,就不能假定一定有很高的重用比例。

快取需要被哪台機器接續使用,就決定資料要往哪裡移動。

Google TPU Sync 官方架構圖,從推論引擎與控制器連到 KV 快取管理、DMA 與共享儲存
Google Cloud 官方 TPU Sync 架構圖;虛線的強化學習相關模組仍須按實驗性範圍理解。 圖片來源:官方原文。

先讀輸入和接續輸出,會需要不同資源

拆開輸入處理與文字輸出,可以分別安排機器,但也新增兩者之間的快取交接。模型先讀完長輸入,和之後逐個產生輸出,對運算與記憶體的需求並不一樣。

前一段常稱為 prefill,意思是先處理送進來的內容。後一段是 decode,也就是接續產生答案。把兩者放在不同節點,可以依工作特性分配資源,不必要求同一組機器承擔每種負載。

但讀輸入的節點已經算好的狀態,必須交給負責回答的節點。如果這段交接很慢,模型雖然沒有重新讀文件,使用者仍要等資料走完,才看得到第一個輸出。

Google 的流程先把前段算好的 KV 區塊,從 TPU 搬到主機固定的記憶體。控制器再安排跨主機傳送,送到指定輸出節點,最後搬進接手 TPU 的高速記憶體。

「固定」是讓這段主記憶體在傳輸時保持可直接使用的位置,減少搬運途中再整理的成本。這裡不是把整台電腦記憶體永久鎖住,而是為需要傳送的資料建立對應路徑。

資料抵達時,傳輸與部分輸出運算可以交錯進行。這個設計想減少整台機器停著等資料的空檔,而非保證任何時候都能完全消除網路等待。

交接若比運算更慢,拆分資源的好處就會被等待吃掉。

保持原格式直接搬,讓傳輸和運算交錯

TPU Sync 保留 TPU 使用的資料排列,減少轉換與中間複製,並以非同步方式搬運。資料落到目的地後,可以沿用加速器需要的格式,降低為了轉手再包裝一次的工作。

一般軟體交換資料,可能先轉成方便傳送的形式,再在另一端重建。對大型快取來說,反覆複製與轉換本身就會佔時間,因此 Google 把傳輸路徑放進原生 C++ 層。

官方使用直接記憶體存取,也就是 DMA,讓硬體沿指定位置搬資料,減少由 Python 一層層拆開與重組。它能直接使用 JAX 或 PyTorch 對應的底層資料緩衝區。

這裡的「零複製」主要指避免不必要的中間副本,並不表示資料不用跨越晶片、主記憶體或網路。真正的傳送仍會消耗頻寬,所以要同時安排好來源、目的地與傳輸時機。

非同步則表示發出搬運後,其他工作可以先繼續,不必在同一個呼叫裡全部等待。程式庫也控制大型傳輸的節奏,避免一次搬太多,反而推遲後續運算開始。

官方列出的每主機最高二百二十三 GB/秒,量的是晶片與主機之間的合計傳輸。另一個約一百九十二 Gbps,量的是單張網路卡上的跨機傳送。兩者路徑和單位都不同。

因此,不能把兩個數字排在一起,直接判斷哪條路徑快了幾倍。服務中的資料仍要依實際路徑走過不同環節,其中最慢的一段可能限制整體改善。

傳輸能與工作重疊,仍受記憶體、網路與實際工作量限制。

百分之九十改善,要先辨認量的是哪種等待

官方同時報告快取傳輸、首字等待和輸出吞吐,這些指標描述不同階段。把它們都縮成「AI 快九成」,會讓讀者無法知道自己能省下哪段時間。

在前後段分開的測試裡,Google 稱 Qwen3 235B 的快取傳輸中位時間,從數秒降到約二百三十毫秒。這個數字指狀態交接,不是從送出問題到看見第一個字的全部時間。

首字等待通常用 TTFT 表示,量的是第一個輸出單位何時出現。低並行條件下,官方報告235B模型的平均首字等待減少六成,480B模型減少九成。它們不是同一個模型的一組分數。

低並行表示同時處理的請求較少。遇到流量尖峰時,其他請求會一起爭用運算與網路,所以官方另看輸出吞吐,也就是一段時間能產生多少內容,而非只看單次最快回答。

在共同前綴快取情境中,六十四K長度的工作負載,平均首字等待最多減少九成。這項改善依賴快取被重用,不能直接套到不斷更換輸入、很少命中的服務。

這些測試跑在哪一套環境

原始公告將數據歸於二○二六年七月內部實驗,使用 TPU v7x、特定節點配置與 PCIe Gen5,主機搭配一張或兩張二百 Gbps 網路卡,軟體版本也一起固定。

因此,這些結果提供的是特定設計如何降低等待的證據,並非本刊重跑,也不是新一代 TPU 硬體的全面比較。實際流量、快取命中和網路,仍會改變服務表現。

保留模型、並行量與環境,才能知道自己的服務是否有相同瓶頸。

分層快取和權重同步,成熟程度不同

主記憶體可以承接常用快取,共享儲存與強化學習權重傳輸仍有實驗性範圍。架構圖列出能連接哪些層,並不代表每一層都有相同成熟度或公開測速。

當主記憶體也不夠大,較舊的區塊可以往本機固態硬碟或共享儲存移動。官方把這類 POSIX 儲存後端列為實驗性,不能只因 Managed Lustre 出現在圖中,就當作所有部署都已穩定可用。

另一種用途,是把訓練更新的模型數值傳給負責產生訓練經驗的工作節點。這屬於強化學習流程,重點是讓不同節點盡快拿到相應版本,和重用一段對話的 KV 快取不同。

Google 提供這條路徑需要的低層搬運能力,也說明實驗模組的定位,但這次沒有公布可套用的強化學習效能提升數字。推論服務的九成改善,不能直接挪到訓練上使用。

程式庫也能把主機快取放進共享記憶體,讓服務程序重新啟動後重新接回。因為資料仍在主記憶體裡,這不等於整台主機斷電後,還能像磁碟檔案一樣保留。

接入方面,官方列出 vLLM、SGLang 的 TPU 路徑,以及 GKE 上的 llm-d 配合。這有助於辨認服務要接在哪裡,但不能概括成任何 GPU 或一般筆電都能直接加裝。

能看到接入方式,仍要把支援的路徑和已驗證的結果分開。

先固定版本與工作負載,再驗收服務結果

現行程式庫建議使用標記版本或已驗證提交,避免直接追主分支的快速改動。十一月十六日查閱的 README,也提供名為 LKG 的已知可用版本紀錄,讓整合者有較明確的起點。

公開 Python 套件目前仍以開發版發行,並有對應 JAX 與 PyTorch 的不同路徑。選擇哪一個,應依既有服務來決定,不能因名稱相近,就把不同框架需要的依賴混裝。

因為底層元件會一起運行,版本配對也會影響執行。官方說明,底層延伸套件和框架載入同一個程序,若版本不符,問題可能在後續才出現。因此不宜只以安裝完成當成已整合成功。

PyTorch 套件的公開發行流程,尚未以完整端到端效能測試作為所有版本的放行條件。已有 TPU 服務的團隊,更需要在自己的環境核對,而不是只看程式庫宣稱支援框架。

第一輪可以固定一份長輸入、相同模型和相同並行量,分別量首字等待、後續輸出與快取命中。再加入重複請求和全新輸入,觀察改善是否只在某種情況出現。

因為快取保存特定輸入的狀態,正確性也要一起檢查。快取若連到錯誤的模型配置或內容,快速回答並不是有效改善。原程式庫也保留配置核對等機制,試用時應確認版本切換和服務重啟後的行為。

當快取重用、延遲與正確性都能在自己的負載下核對,才適合擴大部署。

TPU Sync 常見問題

TPU Sync 是一個新 AI 模型嗎?

它是 Google 公開的 TPU 狀態搬運與快取程式庫,主要處理資料如何在記憶體和機器之間移動。模型回答能力沒有因安裝程式庫就自動改變。

約二百三十毫秒就是第一個字的時間嗎?

那是指定235B模型測試中的快取傳輸中位時間。首字等待還包含輸入處理、排隊和輸出開始,官方另用不同指標報告,不能混成同一筆測速。

可以用在一般顯卡電腦嗎?

現行文件驗證與優化的硬體是 Cloud TPU v7x 和 v6e。這不是替一般筆電或任意 GPU 提供的通用加速開關,整合前要先確認硬體與服務框架。

推論快九成,就代表訓練也快九成嗎?

推論、儲存分層與強化學習是不同工作範圍。這次訓練相關路徑仍有實驗性內容,也沒有相應公開效能數字,不能沿用推論改善比例。

如果你已在 TPU 上提供長上下文服務,先用固定負載量出等待分布,再回官方文件核對可用路徑。讓加速器少等資料的價值,應由同樣工作量下的服務結果證明。

延伸閱讀:Google TPU 8i Max 與 8tx 發表:雙晶片長脈絡、機密推論為何是兩種系統設計?

延伸閱讀:MaxText 支援 1,400 萬 token 長序列訓練:TPU 怎麼分攤上下文與記憶體?

原始資料來源