ZHA 階層注意力研究：用樹狀索引找上下文，十億 token 仍是什麼階段？
ZHA以樹狀索引搜尋長上下文，試圖同時減少路由與注意力成本。解析蒸餾、檢索與推理品質測試，以及十億token速度投影、門檻調整和實際部署仍需驗證的條件。
ZHA 想減少 AI 閱讀長上下文的搜尋成本，同時保留依問題回頭找資料的能力。它把過去內容的表示組成樹狀索引，再由粗到細選出相關部分。
資料越長，每次生成都把所有位置重新比對，成本就越難負擔。但只留固定大小的摘要，也可能讓日後需要的細節消失。
Zyphra 在 2026 年 11 月 2 日介紹階層注意力研究，試圖在這兩個限制之間建立新的取捨。
團隊讓索引器學習原模型對不同區域的注意力分配，這種訓練稱為蒸餾。它展示訓練後的品質測試，也用效能模型推估十億 token 等遠期情境的速度，後者並非已公開提供的服務視窗。
這項方法適合關心長序列架構的人追蹤，現階段的判斷重點是搜尋開銷與資訊遺漏能否一起受控。
要理解它省下什麼，先得看稀疏注意力為何可能仍在搜尋階段付出高成本。
ZHA 為何連搜尋索引也要改成階層？
只減少最後參與計算的文字，未必能解決長上下文的成本問題。因為模型在決定哪些文字值得讀之前，可能已經先把整份歷史掃過一次。
注意力可以理解成模型依目前問題，分配關注位置的方法。在標準密集注意力中，各個位置會與前面的內容比較，序列越長，整段計算的成長就越快。
依Zyphra 官方技術文章，若把序列長度加倍，密集注意力的整體計算大約會增為四倍。
這是研究希望改變的擴展方式。
最後只讀少量內容，搜尋仍可能很貴
稀疏注意力改為挑出部分相關位置再計算，但用來挑選的索引器，也可能逐一替全部位置打分。最後步驟省下工作，搜尋步驟卻仍隨內容增加。
這就像最後只借一本書，卻得先翻遍整座圖書館才能選出它。一次找一本和一次找十本，在這種流程中都可能先付出相近的搜尋成本。
有些方法先把文字分成區塊，降低搜尋單位的數量。但只要仍需要看過每個區塊，便主要是縮小成本常數，沒有根本改變序列變長時的成長趨勢。
另一條路是把過去壓進固定大小的記憶，讓處理成本更容易控制。然而，需要保留的資訊若持續增加，固定空間就可能丟失未來才會用到的細節。
因此，ZHA 希望保留依問題回頭找資料的彈性，同時讓實際查找的資訊量，比整份歷史長得更慢。樹狀索引就是為這個目的建立的結構。
樹狀摘要如何依問題找到原始資訊？
ZHA 把歷史表示分成連續的小群組，為各群建立摘要，再將摘要往上整合。查詢時先看較粗的範圍，才逐層走到較細的位置。
這裡的歷史表示來自 KV 快取，也就是模型為後續計算保留的鍵值資訊。它不是原文檔案的目錄，但能讓目前的問題對照先前內容。
分層後，上方節點代表較大區域，下方節點保留更細的資訊。因此，查詢不必一開始就逐一比較所有底層位置。
摘要必須能服務不同問題
單純平均一群鍵值，可能讓少數重要訊號被其他內容掩蓋。所以 ZHA 使用學習得到的參考查詢，從不同方向整理同一群資訊。
這些參考查詢不是讀者手動寫好的問題，而是方法中的可學習部分。它們的用途，是協助估計未來查詢可能把多少注意力分配給某個區域。
當新問題進來，模型從上層篩出值得展開的分支，再往下細看。不同問題可以走向不同位置，因此不是永久只保留固定的幾段歷史。
選擇分支時會使用 top-p 門檻，可把它理解成保留累積重要性達到某個程度的候選。門檻越寬鬆，保留資訊較多，但搜尋與後續運算也會增加。
這讓樹狀方法必須同時處理「走哪一條路」和「保留多少路」。若上層太早刪掉重要分支，下層再精細也找不回被略過的內容。
樹深不是單獨的效率保證
作者測試不同的樹深、群組大小與參考查詢配置，觀察這些選擇是否破壞檢索品質。這比只展示一個最佳結構更有助於理解方法。
但某個樹形在指定任務表現穩定，不代表所有資料都適用。要知道它是否保留模型原有能力，還需要讓既有模型學會使用這套新的索引。
蒸餾與品質評測，驗證了哪一段能力？
研究的品質部分，檢查的是原本使用密集注意力的模型，經適應訓練後能否改用 ZHA。這與直接下載一個外掛、完全不訓練就替換機制不同。
方法採用蒸餾，讓索引器學習原模型對不同區域的注意力分配。原模型保持凍結，只有索引中的參考查詢接受訓練，新的搜尋方式因此能接回既有能力。
論文摘要將這段訓練描述為短期的 KL 蒸餾階段。KL 是比較兩種機率分布差異的量，用在此處是衡量索引器與原模型在樹的每一層，對各區域的注意力機率有多接近。
檢索、推理與代理工作要分別看
作者沒有只測大海撈針式的資料找回，也納入數學、推理與代理程式開發評估。因為找得到單一線索，不表示多步推導或工具工作仍能正常完成。
在指定模型與稀疏度下，ZHA 保留了這些評估上的表現，支持它不只適合簡單檢索的研究方向。但各題組仍有自己的測量方式，不能合併成所有能力都不會下降的保證。
例如，檢索評估主要關心相關內容是否能被找出。代理程式開發則同時涉及模型如何使用工具與執行步驟。相近分數背後，可能包含不同錯誤類型。
因此，實務評估要保留原模型、替換後模型與相同工作設定。若同時改了推理預算或工具流程，就無法只把差異歸給注意力架構。
資訊能保留，不代表延遲已經變短
品質測試回答的是新方法能否找到所需資訊，以及是否維持指定任務表現。它尚不能單獨證明整套服務的速度或費用都會改善。
因為真實運算還要建樹、選分支、搬移資料與啟動不同運算程序。有些成本在短序列占比較大，因此只看最後少讀了多少位置，會高估收益。
這也是研究另外建立效能模型的原因。它嘗試把這些硬體因素一起算進來，但其結果需要和直接量測的模型品質分開閱讀。
超長上下文速度，哪些是模型推估？
十億 token 是研究討論的超長情境，並不是本次已推出的產品視窗。作者在這個尺度上給的是硬體效能模型投影，不能當作讀者今天就能使用的服務規格。
所謂 roofline 效能模型，會把運算能力和記憶體頻寬等硬體限制納入，估算一段工作可能受哪個資源卡住。ZHA 的分析也考慮啟動開銷與硬體平行程度。
它不只是把理論上的運算次數換成速度，因為相同運算量在不同資料搬移方式與硬體配置下，實際時間也可能不同。
交叉點取決於比較方法與設定
官方文章以一個較輕量配置估計，約在四萬八千 token 後可能比密集注意力快，約在四十八萬 token 後可能比所選的 MSA 稀疏基線快。
這兩個交叉點不同，表示原本比較對象的效率也會影響新方法何時占優勢。它們屬於指定分析設定，不能換成所有模型的統一升級門檻。
在更長的序列，模型投影顯示階層搜尋的優勢會增加。但這段估計不能直接推出整次回答快多少，因為模型還有注意力之外的計算和服務成本。
若應用包含讀檔、檢索、工具呼叫或等待外部系統，使用者體感時間也不只由注意力決定。因此，導入時仍需要量測實際工作流程。
次二次方也不等於固定時間
論文主張在適當的路由門檻下，包含搜尋與最後注意力的總成本，可比二次方成長更慢。這不是說上下文無論多長，每次運算都維持固定時間。
主動使用的資訊量仍需要增加，才能保留越來越多可能有用的歷史。研究希望它增加得比全文更慢，而不是永遠停在同一個小容量。
所以，「可以繼續擴展」和「有效使用任意長度」之間仍有距離。要維持這種擴展方式，資訊保留的門檻也必須隨上下文改變。
壓縮過多或過少，會造成什麼取捨？
這項研究的重要限制是，樹狀架構本身不會自動保證最佳壓縮程度。究竟需要保留多少歷史，還取決於資料含有多少可供預測的新資訊。
若保留太多不相關內容，搜尋成本會上升，注意力也可能分散到大量干擾資訊。即使硬體算得動，模型仍不一定更容易找到正確線索。
若壓縮過多，則可能把之後需要的訊息略過。尤其每一層都保留固定比例時，層數增加會讓總共保留的注意力量逐步縮小。
門檻要跟著深度與內容走
作者因此討論，路由門檻應隨樹深與序列長度調整。過於保守地展開所有分支，會讓成本接近密集搜尋。刪得太積極，又會造成資訊瓶頸。
這項取捨也解釋了為什麼不能只拿單一速度倍率判斷方法。若加速伴隨特定長依賴任務失分，應用可能反而要付出重試與查核成本。
對研究團隊，較有用的比較會同時列出資料類型、序列長度、保留比例、任務品質與實際延遲。只有在這些條件可比時，方法差異才容易解讀。
對一般產品使用者，則應分清技術論文、可下載模型與已提供服務的功能。架構研究指出未來方向，不代表現有聊天產品已支援同樣的長度或成本。
讀者也可以用一個具體情境理解這項取捨：若問題需要分散在數份文件裡的條件，路由就必須保留多條相關分支。
若為了省算力只留下其中一份，後面再強的生成模型也看不到被跳過的限制。因此評估不能只看平均速度，還要追蹤哪些問題更容易漏掉必要證據。
另一個需要固定的條件是輸入內容。重複資料、主題集中與資料分散，都可能改變路由會走訪多少分支。相同長度不代表相同負載。若比較時同時更換內容與硬體，便很難知道改善來自索引方法、資料分布，還是設備本身。
ZHA 常見問題
ZHA 可以直接把現有模型的視窗擴到十億 token 嗎？
研究對極長序列有模型推估，但不是現成的服務承諾。模型還需要適應新機制，並在目標長度與工作資料上驗證品質、記憶體和延遲。
樹狀索引是否等於只留下摘要，刪掉原始資訊？
ZHA 在底層 KV 快取之上建立階層表示，讓查詢逐步找到相關位置。摘要主要服務搜尋，不能把它和只保留固定一份文字摘要的做法混為一談。
使用更深的樹，一定會更快嗎？
深度會影響壓縮與檢索品質，也會增加路由程序。作者觀察到多種結構的穩定性，但最佳配置仍取決於序列長度、資料及硬體，不能只比較層數。
把品質、路由成本與實際延遲一起比較
ZHA 提供的價值，是把長上下文的搜尋成本也納入架構設計。後續若能在更多模型和真實負載中，同時維持資訊品質與可量測的速度改善，才更接近可普遍使用的長序列技術。
想持續追蹤 AI 研究方法與可驗證的技術進展，歡迎免費訂閱 AI 郵報。
延伸閱讀：CFDN 研究：16 名 AI 代理如何靠背景、記憶與實驗分配改進線性注意力？
延伸閱讀：Fern 0.1 是什麼？Mirendil 宣稱可讀千萬 Token，長上下文測試與使用限制解析
