Raschka 公開 RoPE 新教學:AI 如何分辨詞序,長上下文為何不能只拉長?

Raschka 公開位置編碼新教學。用原創中文例子解析RoPE如何讓相對距離進入注意力,分清位置向量、部分RoPE與NoPE,並說明長窗口為何仍要用真實文件驗證。

Share
Raschka 架構圖庫按 RoPE、NoPE 與混合位置方法分類的官方總覽
Raschka 以自己的模型架構圖庫整理位置編碼類型;圖庫條目不是全市場市占。 圖片來源:官方原文。

RoPE 讓語言模型在比較文字時,也能把前後距離放進計算。相同的詞換一個順序,意思可能改變,所以模型不能只認得字,還需要處理它們在句子裡的關係。

研究者 Sebastian Raschka 在 2026 年 11 月 15 日公開位置編碼長篇教學,從早期方法走到 RoPE、部分旋轉與不放顯式位置編碼的架構,並附圖解與程式範例。

位置編碼的用途是提供次序與距離訊號,不是替模型增加最新知識。RoPE 透過旋轉注意力中的數值表示,把相對位置帶進相關性分數,而非在每個字旁邊貼一個讀者看得見的標籤。

這次新事件是教學與架構整理,RoPE 本身早在二○二一年的 RoFormer 論文提出。能計算更遠的位置,也不代表模型對更長文件的理解已經被驗證。

我會建議正在學模型架構的讀者,先用一組固定數值理解位置差,再回頭看模型設定。若只是選聊天工具,應優先比較自己的長文件結果,別因看到 RoPE 或長窗口就預設比較準。

要理解這條界線,先看文字內容和位置為何需要分開表示,再把相對距離放回注意力計算。

RoPE 面對的是詞序與距離,不是字義查表

同一個詞的初始表示可以相同,但它在不同位置與其他詞的關係會改變。

可以先想兩句話:「甲公司收購乙公司」與「乙公司收購甲公司」。出現的公司名稱一樣,主動進行收購的對象卻不同。若工具只數每個詞出現幾次,就不足以回答誰買了誰。

模型會先把文字切成處理單位,再將每個單位轉成一組數值。這組數值通常稱為向量,用來承接內容特徵。相同詞在初始查表時可以取得同樣表示,但後續仍需要知道它位於哪裡。

注意力是讓模型比較不同位置內容關係的運算。例如讀到「它完成交易」,模型需要利用前文判斷「它」指誰。位置訊號是其中一部分,內容與上下文也會一起影響關聯。

這不表示每個字都有一個人能讀懂的文法標籤。模型是在大量數值運算中學習如何利用訊號,位置方法只是提供有用的結構,不能單靠它保證理解每一項語意。

十一月十五日的新教學把這個基礎問題重新整理成可學習的材料。對剛開始看模型架構的讀者,最有價值的起點,是先分清認得某個詞,和理解這個詞與其他內容的前後關係。

知道內容與位置各自負責什麼,才容易比較位置訊號加在哪裡。

Raschka 架構圖庫按 RoPE、NoPE 與混合位置方法分類的官方總覽
Raschka 以自己的模型架構圖庫整理位置編碼類型;圖庫條目不是全市場市占。 圖片來源:官方原文。

加上位置向量,和在注意力裡旋轉不同

早期方法把位置向量加到輸入,RoPE 則在計算關聯前旋轉查詢與鍵。

向量可以想成一列數字,而非一個中文字。早期的一種做法,是另外準備每個位置的一列數字,再加到文字表示上。於是同樣的詞放到不同位置,送入後續模型的數值也不同。

位置向量可以由訓練學出,也可以依固定數學規則產生。前者需要保存相應位置的參數,後者則使用規則計算。兩者都提供位置資訊,但對可保存範圍與擴展方式有不同設計。

RoPE 的位置則放進注意力內部。模型先由內容產生查詢、鍵和值三類表示;查詢和鍵用來計算彼此關聯,值則承接將被混合取用的內容。

旋轉位置編碼會按位置轉動查詢與鍵中的成對數值,再計算兩者的分數。旋轉作用在模型中的成對數值,文字在畫面上的方向與排列不會因此改變。

RoFormer 原始論文提供這個設計的來源。Raschka 的新文章是學習入口,本文用簡化例子說明機制,讀者若要實作仍應回到所採用模型的程式與設定,避免只憑同一個名稱混用不同接法。

位置進入運算的方式不同,也決定了相對距離如何影響分數。

共同平移保留位置差,前提是內容數值固定

兩個位置一起移動相同距離時,RoPE 的相對旋轉差保持一致。

先把真實模型的其他變化暫時拿開,只看一對固定數值。假設查詢與鍵原本都朝同一方向,每個位置增加三十度旋轉,分別放在位置一與位置四,兩者角度就相差九十度。

若一起向後移十個位置,它們變成位置十一與十四,各自增加相同旋轉。兩者之間仍差九十度,因此用來比較方向關係的那一部分分數保持相同。這是我們自己選的簡化數值例子,並非模型實測。

如果只把其中一個位置移近,角度差就會改變,分數也可能改變。這讓前後距離進入計算,而不必要求模型先從兩個獨立的位置標籤,重新學出每一種相對關係。

條件中的「固定」很重要。真實模型在句子前加上一段系統說明,會讓可參考的內容增加,後面各層產生的查詢與鍵也可能改變。數學上的共同平移性質,不能直接推成整段回答完全一樣。

例如同一份合約前面多加一條解釋規則,模型可能依新規則改變摘要。這是上下文改變造成的結果,不能因為 RoPE 處理相對位置,就說任何前綴都不影響答案。

學這一段時,最有用的練習是先固定內容數值,只改位置,再固定位置、改內容。把兩種影響分開,才知道某個小測試究竟在檢查位置方法,還是在檢查模型如何理解新資訊。

這個數學性質只描述固定輸入表示,不能直接推成加長提示後答案必然不變。

不同旋轉頻率,讓距離以多種尺度進入比較

同一個注意力頭裡的數值成對旋轉,不同組合使用不同頻率。

注意力並非只用一對數值。模型會把很多數值分組處理,不同組使用不同的旋轉頻率:有的每前進一格就轉得多,有的只轉一點,讓距離能以多種尺度影響比較。

可以把它想成多個轉速不同的指針,同時描述一段位移。這個比喻只協助理解不同尺度,並不是模型真的建立一只時鐘。頻率如何配置,仍要依模型採用的規則決定。

因為固定規則仍可延伸計算,程式可以算出更遠位置的旋轉,但這只回答數值是否有定義。模型是否見過類似長度、能否在更遠距離選對資訊,還需要訓練與測試支持。

這就是上下文窗口不能只看一個上限的原因。允許輸入一大份文件,不代表文件每個角落都同樣容易被取用;問題的位置、證據分散方式與內容干擾,都可能影響最後回答。

調整旋轉相關設定,也不只是把某個數字改大。若程式的處理方式與權重原本學到的條件不一致,輸出可能變差。一般使用者應優先選已被相應模型文件支持的配置,而非自行把上限拉到最大。

對開發者來說,驗證需要有能對照的問題與答案,並在不同長度重播。只看程式沒有出錯,或只是成功接收長輸入,都無法回答模型是否仍理解原本工作。

頻率能延伸計算,但模型是否用得好仍要回訓練與長文結果判斷。

部分 RoPE 與 NoPE,不能簡化成完全沒有位置

有的模型只旋轉部分數值,有的層省略顯式位置編碼,仍可能取得其他次序訊號。

部分 RoPE 只讓查詢與鍵中的一部分數值參與旋轉,其他數值維持原來處理方式。這改變的是位置訊號放入的範圍,不能簡化成只剩一半模型知道詞序。

模型由多層運算串起來,後一層接收到的內容可能已含前一層的位置資訊。因此某一層省略旋轉,不代表它看到的資料從未受到位置影響,理解設定時要沿著整條運算路徑看。

NoPE 的名稱則指沒有顯式位置編碼。顯式是另外提供可辨認的位置方法,並不是說模型完全失去次序訊號。只能查看目前和先前內容的因果限制,本身也可能提供順序資訊。

因果限制可理解為生成下一段內容時,不能偷看後面的答案。前面的位置可參考的內容較少,後面較多,這種可見範圍的差異,可以成為模型學習次序的一部分。

這些設計也沒有直接構成品質排名。某一架構可以在部分層保留旋轉、部分層省略,另一架構則採不同關聯偏置。選擇通常和模型整體訓練及運算安排相連,不能只看名稱就決定誰比較懂長文。

同樣地,旋轉的數值變少,不會自動讓整個快取按比例縮小。執行時仍可能保存完整的鍵和值,也有權重與其他暫存需求,應從實際工具回報的記憶體與結果確認。

知道這些設計的範圍後,比較時就不必把單一名詞當成品質排名。

看懂設定後,用長文件驗證實際能力

位置方法、訓練長度與實際任務要一起看,不能只把可設定窗口當成有效理解。

一般讀者不必先實作整套注意力,才能比較自己要用的模型。可以先準備一份有明確答案的文件,例如誰收購誰、何時生效、哪一條有例外,再用相同問題檢查不同長度。

第一輪只給需要的段落,確認模型能回答基本問題。第二輪在前後加入其他內容,保留原本答案位置,再觀察是否仍能找對。這樣比較能看出長度與干擾的影響,而不是每次都換一個新題目。

再把證據放在文件不同位置,檢查答案是否依據來源,而非沿用自己先前看過的回答。若任務需要比較跨章節條件,就讓問題真的依賴多處證據,避免只測一段可直接複製的句子。

時間與成本也應一起記錄。更長的窗口可能讓讀取花更久,對短問題不一定划算;若先縮小來源仍能保住答案,就沒有必要只為使用最大上限而加入不相關內容。

學模型的人則可以多做一層檢查:先核對位置方法與程式的數值配對,再看長輸入結果。成對數值的排列方式若和實作不一致,即使旋轉公式看起來相同,也可能得到不同分數。

這次新教學適合補架構基礎,真正採用模型時仍要把機制放回任務。詞序訊號回答的是模型怎麼利用位置,最終值不值得用,還是由你的資料、問題與可核對結果決定。

先確認自己的問題在不同長度仍能答對,再決定是否需要更大的上下文。

RoPE 與位置編碼常見問題

這些方法描述模型如何處理位置,沒有替任何產品提供通用準確率保證。

RoPE 是這次才發明的方法嗎?

它源自二○二一年的 RoFormer 工作。十一月十五日的新事件是 Raschka 發布圖解與程式教學,協助讀者連起基礎方法與不同架構的選擇。

模型用了 RoPE,就一定懂很長的文件嗎?

位置能計算,不代表每種長度都經過充分訓練與驗證。應用仍要用有答案的文件比較不同長度、證據位置與干擾內容。

NoPE 代表模型完全不知道順序嗎?

它指沒有顯式位置編碼,模型仍可能利用因果可見範圍,或前面層已傳下來的資訊。不能只看縮寫就判斷模型失去全部位置能力。

一般使用者最先看哪項結果?

先看自己的任務是否答對,再看等待與費用。架構名稱能幫助理解原理,不能替每份長文件提供現成準確率。

從固定數值的小例子理解機制,再用有答案的文件測試自己使用的模型。

延伸閱讀

原始資料來源