AI 可解釋性快有突破？Goodfire 神經元研究的 90％估計、方法與安全限制
AI 可解釋性再掀討論。Nick Cammarata 的 Goodfire 研究文章主張，許多神經元比想像中容易理解。本文拆解 90％初步估計、貓與汽車的案例，以及看懂機制為何仍不等於證明模型安全。
AI 可以寫出很長的解題過程，但那段文字未必能解釋它內部怎麼運作。AI 可解釋性研究想做的，就是走進這個計算過程，找出哪些內部機制影響了最後答案。
研究者 Nick Cammarata 在 2026 年 10 月 15 日發表 Goodfire 文章，主張許多神經元比過去認為的更容易理解，部分經典的混亂案例，可能是觀察工具與解釋方式出了問題。
他在 Qwen3-32B 的初步檢視中，估計約 90％神經元極點有一項主要工作。神經元是模型內部的計算單元，極點則是觀察它對哪些輸入產生正向或負向反應的方式。
這個數字很容易被轉成「九成黑箱已破解」，但文章把自己定位為工作假說，也說明比例會隨判定標準改變。作者並沒有宣稱完整理解所有大型模型，或已經解決 AI 安全。
對研究者而言，這是一個值得重新檢查工具與方法的主張。對一般使用者，實際意義是模型內部可能更適合被實驗研究，但日常答案仍需要來源與結果驗證。
要知道這次討論改變了什麼，先釐清研究者所說的「看懂」到底要做到哪一步。
AI 可解釋性在解釋什麼，和模型自述有何不同？
AI 可解釋性希望找出內部計算與輸出之間的關係。例如模型為什麼把一段文字判成諷刺、為什麼認為圖片裡有一輛車，或哪些訊號讓它改變了回答。
模型自己產生的說明可以提供線索，但那仍是輸出的一部分。若要理解機制，就需要觀察內部訊號、比較不同輸入，並檢查改變某個部分時，結果是否照預期改變。
OpenAI 在 2023 年的自動解釋神經元研究曾利用語言模型生成解釋，再測量解釋能否預測神經元的反應。這讓研究不只停在人工觀看，也能嘗試建立大量測試。
但預測某個單元何時反應，與完全理解它在整個模型扮演的角色，仍有距離。因此現在的爭論同時涉及兩個問題，神經網路到底有多混亂，以及測量工具能不能看見它的結構。
為什麼同一個神經元會讓人看不懂？
假設一個單元對貓臉與汽車正面都反應，研究者可能認為它混合了兩個無關概念。可是，如果兩類圖像共享某種形狀，分類方式就可能把同一種視覺模式誤看成兩個概念。
這就像看到某個感測器在不同物件上亮燈，不能立刻判定它同時辨識所有物件。也可能它只在偵測某個共同特徵，物件名稱反而遮住了這個關係。
所以好的解釋要能預測其他樣本。若猜測它對尖角反應，就應拿新的尖角、圓形與不同背景測試，而不能只挑幾張最符合故事的圖片。
這也是 Cammarata 重新檢查經典案例時，想改變的研究視角。
貓與汽車的神經元，為什麼會改變研究方向？
作者認為，部分過去被當成任意混合的單元，其實可能在處理共享形狀、姿態或其他有意義的模式。因此重點從「把混在一起的概念拆開」，移向「先看原始單元到底在分辨什麼」。
在 Goodfire 原始文章裡，他重新討論早期影像模型中同時對貓與汽車有反應的案例，提出 V 形與圓形等視覺差異，可能比物件分類更能解釋該單元。
如果這個解釋成立，研究者就不必先假設單元本身無法理解。可以先沿著它的輸入與輸出，看看上游把什麼訊號送過來，下游又利用它做什麼。
這代表過去的研究都錯了嗎？
文章提出的是對部分經典證據與研究路線的重新解讀，不能擴大成整個領域的所有結果都失效。不同模型、架構與觀察位置，可能需要不同工具。
例如 Anthropic 的單義特徵研究嘗試把混合的表示拆成較容易描述的特徵。這提供了另一條理解模型的路線，而目前的新主張會促使研究者比較兩種做法各自能解釋什麼。
因此，對一般讀者，重要的是知道爭論仍在方法與證據層次。不能看到一篇強烈主張，就直接認定已有一個獲得所有研究者接受的結論。
對研究團隊，較有幫助的比較是把不同方法用在同一模型與任務，看它們能否產生可測試、可重現的預測。這才會讓爭論變成可以累積的結果。
但方法看起來有道理，仍不能讓「90％」自動變成精確的安全分數。
Qwen3-32B 的 90％代表什麼，不能推出什麼？
90％是作者對 Qwen3-32B 神經元極點的初步工作分類估計。它描述的是許多單元看起來有一項主要工作，不代表 90％回答正確，也不是模型安全達到 90％。
作者同時估計約 7％有兩項相關工作，約 2％到 4％仍不理解。這些數字應連同方法限制一起閱讀，因為「一項工作」的定義與弱反應要追多深，都會改變分類。
以下把容易混淆的解讀分開，避免把研究指標換成產品承諾。
| 文章中的觀察 | 可以支持的理解 | 不能直接推出的結論 |
|---|---|---|
| 許多單元可提出清楚解釋 | 原始神經元可能值得直接研究 | 整個模型已被完整理解 |
| 初步估計約 90％有主要工作 | 作者看到較高的可描述比例 | 模型有 90％安全性或正確率 |
| 更好工具能修正舊解釋 | 觀察方法可能造成誤判 | 所有舊方法都無用 |
| 大模型也出現可讀結構 | 研究可能有擴展空間 | 已完成對所有模型的普遍證明 |
表格裡的差別，在於單元層次與整體行為層次不同。就算能說明一個零件做什麼，也還要理解許多零件互相影響之後，系統會如何運作。
為什麼作者還需要後續技術論文？
工作假說可以先呈現觀察與研究方向，但其他人要重現結果，需要更完整的抽樣方式、工具、判準與實驗細節。文章也說明後續技術文件會更仔細討論語言模型的神經元實驗。
因此，判斷這項主張能走多遠，應追蹤可重現資料與獨立研究，而不只是推文獲得多少轉傳。社群熱度能說明大家關心，無法替代科學驗證。
延伸閱讀：Qwen3.8-27B 開放權重：27B 多模態模型、百萬 Token 與兩種版本差異一次看
要跨過單元說明與可靠機制之間的距離，研究還需要能夠反駁自己的實驗。
怎麼分辨漂亮解釋，和能被驗證的模型機制？
解釋必須能對新情況提出預測，才有機會被檢查。如果每次看到結果後才補一個故事，就算故事很順，也很難證明真的找到機制。
例如研究者認為某個神經元辨識「提醒別人小心」的語境，就可以準備意思相近、用字不同的句子，再準備字面相似但意思不同的句子，觀察反應是否符合預期。
這種測試能減少只記住特定關鍵字的誤解。因為如果只有同一個字出現時才反應，研究者的語意解釋可能過度延伸。
只看啟動強度，為什麼還不夠？
某個單元在特定情境中亮起來，可能只是相關訊號，未必是最後行為的主要原因。要更接近因果理解，就需要看上游來源、下游用途，或適度介入後是否改變輸出。
介入指的是研究者有控制地改變內部訊號，再觀察模型行為。例如原本預測某個概念會影響判斷，就檢查減弱該訊號後，相關判斷是否隨之改變。
但介入也可能同時影響其他能力，因此需要對照組與副作用檢查。模型是互相連接的系統，不能只看到一個想要的結果，就忽略其他輸出受到什麼影響。
這也說明可解釋性與安全的關係。機制觀察可能幫助尋找風險、理解異常或設計監測，但還要在不同任務與環境裡確認監測是否有效。
若模型能在某個測驗被理解，不代表它在所有長任務都會遵循規則。因此企業仍需要權限、結果驗收與事件處理流程，內部研究是補充證據的一部分。
研究者、企業與一般讀者，可以怎麼使用這個進展？
研究者可以從同一模型、同一單元與固定問題開始，比較直接觀察與其他分解方法。若新方法能更準確預測未知輸入，並通過介入檢查，主張就會更有說服力。
企業可以留意可解釋工具能否協助定位具體錯誤。例如模型為什麼在某類文件誤判，是否存在穩定可監測的內部訊號，以及監測會不會在資料變化後失效。
但對沒有模型內部存取權的服務使用者，短期更實際的是保留輸入、來源、輸出與人工判定。這些外部紀錄雖然無法重建內部機制，仍能幫助比較版本和調查錯誤。
延伸閱讀：OpenAI AI 代理安全事故：53 起使用者圖片外傳、政府網站事件與 Hugging Face 入侵怎麼看？
一般使用者需要因此更信任 AI 嗎？
這次研究沒有提供足以改變所有產品信任門檻的證明。你仍應依任務後果決定查核程度，例如一般摘要可以核對來源，會影響金錢或他人的行動則需要更完整檢查。
比較好的改變，是把「黑箱永遠無法理解」改成可研究的問題。若工具能持續進步，未來可能更容易知道錯誤如何發生，但這個方向仍要靠逐項實驗建立。
所以不必把文章讀成全面樂觀或全面否定。可直接接受的部分是研究方法值得檢查，還需要等待的部分則是普遍性、可重現性與實際安全效益。
追蹤後續研究時，可以先看哪些細節？
先看作者抽查了哪些層、哪些神經元，以及樣本是隨機選取還是特別挑選。若只展示最容易解釋的單元，就無法直接推論整個模型都有相同比例。
接著看未能解釋的神經元如何處理。它們可能是工具不足、樣本太少，也可能存在難以描述的功能，因此保留未解問題，比替每個單元勉強命名更有研究價值。
也要注意結果是否能跨模型重現。同一方法在某個模型成立，是一個起點。換架構、換語言或換任務後是否仍成立，才會影響這套觀察能用多廣。
最後才是實際用途。如果神經元說明能幫助提前發現錯誤、改善監測並減少誤判，企業就有機會用任務結果衡量價值。若只是得到更多漂亮圖像，離可靠工具仍有一段工程工作。
AI 可解釋性常見問題
AI 可解釋性已經被解決了嗎？
沒有。這次文章提出樂觀的工作假說與初步觀察，也明說大型語言模型還沒有被完整理解。後續仍需要技術細節與獨立重現。
90％是不是代表模型回答有九成正確？
不是。這是作者對部分神經元極點工作分類的估計，與產品答題正確率或安全率不同。比例也會受到分類標準影響。
模型講出的推理，能代替內部研究嗎？
不能。文字說明仍是模型輸出，可解釋性研究還要觀察內部訊號與因果關係。說得合理與實際機制相同，需要分別驗證。
企業應該因此取消人工審查嗎？
這項研究沒有支持這個決定。企業應把機制理解當成可能增加的證據，再與任務測試、權限控制及結果驗收一起評估。
先看可重現機制，再判斷黑箱打開多少
Goodfire 這篇文章最值得追蹤的，是它要求研究者回頭檢查觀察工具與經典案例。若過去部分混亂來自方法，就有機會用更好的實驗把模型結構看清楚。
但一般讀者還不能把這個方向換成「模型已安全」。接下來應看技術論文、公開工具、獨立重現與介入結果，這些證據才能把好消息從研究主張推進成可靠知識。
想持續了解模型研究與實際應用之間的距離，可以免費訂閱 AI 郵報，追蹤每項進展的證據、限制與後續驗證。
