OpenAI 支援共同 robots.txt 訓練偏好：網站能表達什麼、何時才會實作？
OpenAI 宣布將支援共同 robots.txt 訓練偏好，讓網站對多個參與供應商表態。解析草案用途、爬取與訓練的差別、未來幾個月實作計畫，以及現有爬蟲規則為何仍需保留。
網站想表明內容不要拿去訓練 AI，往往得逐一維護不同公司的設定。OpenAI 新宣布支援的共同 robots.txt 訓練偏好，想讓這種表態少一點重複工作。
OpenAI 在 2026 年 10 月 30 日表示，將尊重一種共同訊號，讓網站對多個參與供應商表達生成式 AI 訓練偏好。robots.txt 是網站提供給自動程式讀取的規則檔。
不過，公告談的是接下來幾個月的實作目標。公司沒有宣布這套訊號已經完成部署，也說現有爬蟲控制會繼續適用。
引用的文件目前仍是個人提交的網路草案。它參考 網際網路工程任務組 工作小組的討論，但還不能稱為已經通過的正式國際標準。這個組織負責討論與制定網際網路技術標準。
對出版者，值得關注的是日後能否用較少設定表達一致偏好。現在就撤掉既有規則，或把偏好當成能強制所有業者遵守的封鎖工具，都超出公告。
要知道它能幫上什麼，首先得把內容如何使用與爬蟲是否進站拆開看。
共同 robots.txt 訓練偏好，解決哪一種維護問題？
共同訊號把網站的訓練偏好放在同一個位置，讓願意參與的供應商讀取同一項選擇。它的目的，是降低逐家公司維護規則的負擔，而不是替網站新增一個保證攔下所有 AI 的防火牆。
依 OpenAI 官方公告，這項自願合作讓出版者和網站經營者，能一次向多個參與供應商傳達相同偏好。公司目標在未來幾個月實作，完成時會再說明細節。
一次表態，先減少重複維護
假設一家媒體已經決定，新聞可以讓搜尋引擎收錄，但不希望用於基礎生成模型訓練。若每家公司都要不同名稱與不同設定，網站團隊就得一直追蹤誰新增了什麼爬蟲。
共同訊號希望把其中「是否同意訓練」這件事集中表達。對願意遵守的業者，網站不必為了相同用途重寫多份偏好。但對未參與的業者，則不能假設它也會自動照同一方式處理。
這讓維護成本與業者採用範圍成為兩個不同問題。設定比較簡單，不代表每一家都已支援，所以評估進度時，要同時看網站能不能表達，以及供應商何時真正讀取並尊重。
對小型網站而言，這項方向有吸引力，因為未必有專人追蹤每個自動程式的更新。但在實作完成前，仍要保留原有方式，不能先把未來便利當成今天已具備的保護。
這也不是網站內容開始收費或授權的完整機制。共同表態能減少技術維護，卻沒有替出版者決定內容價格、合作對象或既有合約應如何安排。
表達用途偏好不等於阻止自動程式進站，這兩層規則必須分開理解。
訓練偏好與爬蟲存取，為什麼要分開？
一份內容能否被爬取，與取回後能否用於模型訓練，是不同問題。若把兩件事混在一起，就可能為了排除某種用途，連原本想保留的搜尋曝光也一起改掉。
爬取是自動程式造訪網站並取得頁面。訓練則是把資料用來調整模型學到的參數，影響日後如何生成內容。取得資料和如何使用資料，並不是同一個動作。
想保留搜尋，不一定想開放訓練
OpenAI 現行爬蟲文件 已將搜尋與訓練分開。網站可以允許 OAI-SearchBot 協助出現在搜尋結果，同時對 GPTBot 表達不要用於生成式基礎模型訓練的選擇。
這個例子說明，網站的期待不必只有全部開放或全部拒絕。經營者可能想讓讀者透過搜尋找到文章，也想對另一種資料用途保留選擇，技術設定應能對應這種差別。
共同訊號所引用的草案也把用途偏好和流量管理分開。若網站還要限制特定爬蟲的存取，既有爬蟲規則仍有作用，不能因為加了一條訓練偏好就全部撤掉。
使用者主動要求 AI 打開頁面，又是另一種情況。官方文件將 ChatGPT-User 描述為使用者觸發的行動，並提醒 robots 規則可能不適用，因此不能用一項訓練設定涵蓋所有造訪方式。
對網站管理者，這個分工會影響怎麼讀日誌。看到有人造訪頁面，只能先知道發生存取，不能單靠一次請求就推定內容最後被拿去訓練，也不能反過來把沒有看到請求當成所有用途都受控。
因此，檢視規則時應先寫清楚目的：要限制進站流量、要保留搜尋，還是要表達訓練偏好。目的一旦分開，後面的設定與驗證也比較容易對上。
分清這兩層後，才能理解草案裡的允許與不允許到底表達什麼，也不會把現有規則刪錯。
草案怎麼表態？路徑、用途與既有規則
草案沿用 robots.txt 的群組和路徑規則，替訓練用途指定一個共同政策名稱。所謂政策名稱，是讓讀取規則的供應商知道，這一組在談哪種內容用途。
政策名稱不是一隻新的爬蟲
原始草案 採用 __usage_ai-training。它寫在規則檔的 User-Agent 欄位，但代表訓練用途，不必是實際發出網路請求的爬蟲身分。
所以，不應為了在日誌裡找不到這個名稱，就認定訊號沒有被讀取。這個名稱的作用是讓供應商辨認偏好，而不是宣布每個請求都會改用同一個身分造訪。
草案沒有另創一套檔案語法，而是沿用 Allow、Disallow 與既有路徑比對。對應訓練用途時，前者表達贊成，後者表達反對，若檔案沒有這個政策群組，則表示沒有透過這項共同機制表態。
「沒有表態」和「主動同意」也要分開。未加入群組，並不應被寫成網站已授予所有人所有用途的權利，這份草案只定義自己的訊號如何讀取。
同一網站可以依路徑表達不同選擇
例如一家機構可能希望公開媒體資料供廣泛使用，但其他研究內容有不同安排。草案示例讓整站偏好和特定目錄例外並存，藉由較具體的路徑表達差異。
這有助於把不同用途的內容留在同一網站管理，但前提是路徑真的能代表內容範圍。如果媒體資料混在其他目錄，或同一份文件出現在多處，只設定一條例外就可能無法完整表達原本意思。
一般網站團隊因此需要先盤點內容分布，再決定哪些範圍應採同一偏好。這是管理上的推導，不是要求讀者立即把尚待實作的訊號當成已生效方案部署。
草案還特別排除用 User-Agent: * 自動匹配這個用途政策，並保留更特定政策或私下協議的關係。這表示共同訊號不是把所有既有安排一筆蓋掉，仍要看各供應商後續實作說明。
提交草案，和通過正式標準有距離
這份文件在十月三十日發布，屬個人 Internet-Draft，也就是仍可討論、修改的網路草案。文件頁面明示未獲 網際網路工程任務組 背書，在標準程序中沒有正式地位。
因此，即使草案描述希望朝標準方向發展，也不能直接把它稱為已通過的標準。參與者正在討論共同做法，和所有系統已採相同做法，是兩個不同進度。
這些設計仍可能修改，網站應持續看實作說明，不能把示例當成已生效承諾。
網站管理者現在該保留什麼、追蹤什麼？
OpenAI 還在等待後續實作，因此現階段最實際的工作是維持既有設定，並釐清自己要表達的用途。先知道目的，才不會在新訊號出現時，把原本正確運作的控制一併刪除。
先整理現有規則的理由
一份用了多年的規則檔，可能有不同時期加入的項目。有的為了減少流量，有的處理搜尋，有的針對訓練用途。先把理由記清楚，之後才知道哪一項能被共同訊號簡化，哪一項仍要保留。
若是多人維護網站，這份說明也有助交接。技術人員能知道某個目錄為什麼有例外，內容負責人則能確認例外是否仍符合目前發布方式，不用只看一串不熟悉的規則名稱。
內容盤點時還可以分開看文章、圖片與附件。即使出現在同一篇頁面，它們的來源和可用範圍也可能不同。網站對自己整理的文字有明確安排，不代表外部提供的照片或附檔都適用相同決定。
這會影響團隊是否能採整站一致偏好。如果同一個目錄混有不同來源資料，先由內容負責人釐清範圍，比直接複製一份範例更能避免設定和實際意圖不一致。
技術外包時也應保留這層說明。負責網站維護的人可能只看到檔案路徑，內容團隊則知道哪些作品另有約定，兩邊對過一次，才有辦法確認規則涵蓋的範圍。
若之後調整目錄或搬站，也要回頭看這些決定是否仍對應新位置。原本用路徑區分的選擇，不會因文章換網址就自動知道新的內容分類，管理紀錄應跟著發布方式更新。
這些準備的價值，是讓後續支援落地時有明確對照。團隊不只知道檔案應該寫什麼，也知道為什麼這樣表達，以及哪一次內容調整需要重新檢查。
對有特定資料合作或授權安排的出版者，還應讓技術設定和實際安排能對照。共同訊號不會自動改寫雙方合約，也沒有替所有爭議給出法律答案，不能把它當成一份完整的權利文件。
等實作後，驗證的是供應商承諾的範圍
下一個值得追蹤的事件，是公司公布何時啟用、適用哪些資料與系統，以及如何處理既有設定。這些說明出現後，網站才有更具體依據調整自己的管理流程。
驗證也應對準能觀察的事。確認規則檔有正確提供，只能證明網站把偏好發布出來，供應商是否讀取、如何落實，仍需要對方文件和可取得的證據，不能因檔案有內容就宣稱所有業者都已遵守。
如果後續有供應商採用不同解讀，也需要保留版本與日期。這能讓團隊知道自己何時表達哪項偏好、當時參照哪份說明，而不是每次改完只留下最新檔案，失去先前決定的脈絡。
內容供應與資料交易還涉及另外的商業安排，可接著看站內對資料授權基礎的整理，不把這次共同偏好誤當成完整交易服務。
延伸閱讀：Cloudflare 開啟「第四幕」大戲！收購 Human Native，讓 AI 巨頭必須付費買路
等到供應商公布實作範圍，再檢查規則與權利安排，才能把統一表態變成可核對的管理流程。
robots.txt 訓練偏好常見問題
OpenAI 現在已經全面啟用共同訊號嗎？
這次公告說目標是在未來幾個月實作，完成時另有細節。不能從宣布願意支援，推成所有產品、所有資料處理流程今天都已讀取新訊號。
加入這個訊號，就可以刪掉既有爬蟲規則嗎？
不能這樣推定。官方明確說現有控制繼續適用，草案也把用途偏好與爬取規則分開。若原本規則還負責流量或搜尋安排，就仍有獨立目的。
這是 網際網路工程任務組 正式通過的標準嗎？
目前是個人提交的草案，未獲 網際網路工程任務組 背書。它參考工作小組的持續討論，但參考討論和正式完成標準，不是同一階段。
設定後能刪掉過去訓練進模型的內容嗎？
本次公告沒有提供回收既有訓練資料的功能。共同訊號處理網站如何表達用途偏好，不能延伸成能修改已訓練模型或刪除所有過去副本的承諾。
能保證所有 AI 公司照做嗎？
公告描述的是自願參與的共同方向，不能代表未參與業者。對網站而言，仍應追蹤具體供應商的支援和實作範圍，不用一項訊號推論整個產業都已採用。
把表態做得一致，也把實作進度看清楚
共同訊號值得關注，因為網站有機會少維護重複設定。但目前最可靠的安排，仍是保留現有控制、整理內容用途，再等公司提出實作細節，不把一份草案當成已完成的保護。
對需要被 AI 找到的網站，也要把搜尋可見性與訓練偏好分開評估。先決定想開放哪種互動，再選對應機制，能避免為了處理一項用途，意外改掉另一項需求。
延伸閱讀：Cloudflare WebMCP 是什麼？一鍵讓網站支援 AI Agent，真正能做什麼？
想持續追蹤 AI 與網站內容使用規則的更新，歡迎免費訂閱 AI 郵報。
原始資料來源
