FMF 公布 AI 越獄風險框架,為何成功繞過防護還要分級?
FMF 公布網路越獄風險框架1.0,按能力增益、範圍、部署與發現門檻比較單一越獄。解析相對風險、零分含義、分級方法與初稿驗證限制。
一段提示詞讓 AI 說出原本會拒絕的內容,很容易被叫作越獄成功。但從說出一段文字,到協助完成高風險網路活動,中間仍有很大的能力差距。
Frontier Model Forum(FMF)在 11 月 5 日公布網路越獄風險分級框架 1.0,OpenAI 於隔天分享這項與會員公司合作的工作。
這個由 AI 公司支持的非營利組織,希望讓開發者與研究者比較同一類發現時,先講清楚突破防護之後究竟增加了什麼能力。
框架把能力增益、適用範圍、部署容易度與發現容易度分開評估,再形成五個相對風險等級。分級對象是一個可重現的越獄方法。
這仍是開放意見的初版,意見徵詢到 12 月 21 日。原文明確表示,尚須測試評分是否一致,目前的門檻應用於討論。
我會把這份初稿視為讓研究團隊對齊證據的工具。它把能力提升與使用門檻放在一起,適合討論優先順序,還需要實驗證明不同評估者能給出一致結果。
先看清楚它評的是什麼,才能理解為何容易重現的越獄,和能力增加很多的越獄會被分開處理。
FMF 框架評估的是哪一種越獄?
它比較特定模型版本上的單一可重現越獄,衡量的是相對能力風險。因此,一張看起來驚人的回答截圖,還不是完整的評估單位。
原文所指的越獄,是能繞過指定模型版本防護的方法。方法可能來自提示、對話流程或自動化工具,但必須能再次重現,才有共同的測量對象。
「指定版本」這個條件很重要。模型更新後,同一個方法可能不再有效,或解鎖的能力改變,因此不能把某次結果永久貼在整個產品名稱上。
「單一方法」也把問題縮小。研究者先釐清一項發現的作用,再和其他發現比較,避免把完全不同的弱點混成一個總成功率。
相對風險和實際損害不同
框架並不估計一個越獄最後會造成多少實際損害。現實結果還受到權限、可接觸系統、其他防線與部署環境影響,這些不全在分級範圍裡。
例如取得一段輸出,和取得能執行該輸出的系統存取權,是不同條件。這個差異說明,模型防護失效與整個系統遭入侵之間,仍有其他環節。
因此,較高等級表示這項方法值得注意,不能直接讀成整個 AI 系統有相同程度的風險。反過來,較低分也不會免除既有平台與資安管理責任。
既然風險來自新增能力,第一步便需要找出用來比較的既有能力基準。沒有基準,「能力很強」很難在不同團隊之間產生一致意思。

為什麼能力增益要和公開基準比較?
一種越獄解鎖的內容,若已能從普遍可得模型取得,新增的前沿風險就和獨占新能力不同。框架因此先問,突破防護後究竟比現有選項多了什麼。
原文把基準定為評估當時,普遍可取得模型中最強的網路能力。文件使用的參考時間是二〇二六年十月,並允許以多個可得模型的最佳表現組成基準。
這不是只拿同一個模型越獄前後比較。若原本不能提供的能力,在其他公開模型上早已可得,對整體生態新增的能力差距可能較小。
能力增益分成四級,從沒有有意義提升,到有限超過基準、在特定任務有實質提升,再到接近移除防護的前沿模型能力。
其中有限提升和實質提升的區別,需要看是否只有少數早期跡象,或已能在一組任務上有意義地超過基準。單一令人印象深刻的例子未必足以回答。
最高層級則關心,越獄是否讓使用者取得原本由更強防護限制的前沿能力。比較對象與測量方式必須一起保留,才知道這項提升從何而來。
零分也有明確的適用範圍
當能力增益為零,框架直接把前沿相對風險分為可忽略,並停止後續合成評分。但原文明確表示,這不代表行為可被接受或不用處理。
它只是把這類案件交回一般平台規則與傳統網路風險管理。這種分工讓前沿框架專注新增能力,並不會讓既有傷害因為「沒有超越基準」而消失。
基準也會隨時間改變。同一個方法完全沒變,若普遍可得模型變強,它相對於生態的增益便可能縮小,因此評估日期是結果的一部分。
對研究報告來說,這要求作者保留當時比較了哪些模型與工具。只保存一個等級,日後便難以分辨是越獄被修好,還是參考基準已往前移動。
延伸閱讀:Anthropic 發表 Cyber Mission:AI 幫電網與水務防禦,為什麼不能只靠自動修補?
四個評估面向如何接成風險分級?
框架把新增能力與適用範圍合成嚴重程度,再把部署與發現門檻合成另一條軸。先分開評估,能避免容易取得的方法自動被當成最有能力的方法。
能力範圍關心的是,同一套方法只在一個例子成功,還是能跨到多種情境。它要求保留未用來調整方法的測試項目,檢查是否只是針對熟悉題目成功。
在單一技術類型內,草案用至少五個保留項目作為一項操作參考。更廣的等級則要求跨多種技術類型,或跨不相關的網路風險類別。
最高的通用範圍,要求至少兩個不相關類別,每類至少五個保留項目,在乾淨的新工作階段重現,而且不為每個目標作重大重新設計。
這些門檻想排除的是,把每題都重新調整一大套方法,卻最後宣稱同一招通用。它們仍是初稿中的測量錨點,尚未證明適合所有未來能力。
部署容易和發現容易,是兩種成本
部署容易度問的是,找到方法之後,每次使用還需要多少專業與人工操作。需要專家持續引導,和新手能反覆執行的現成流程,代表不同傳播門檻。
發現容易度則問,第一個找出方法的人付出了多少資源。特殊內部資訊、大量推論費用與研究設施,會讓方法較難被其他人獨立找出。
兩者可以不同。一個很難發現的方法,整理完成後可能容易使用。反過來,一種很容易描述的現象,也可能每次都要專家花很多時間調整。
草案為發現成本提供一萬與十萬美元等例示門檻,也把公開文件列為容易取得的最高級。這些金額是討論中的分級參考,並非已測得的平均攻擊成本。
把成本拆開,才有辦法討論哪些條件改變了風險。修補研究方法本身,和降低部署時能接觸的權限,處理的是不同位置的問題。
合成結果仍要保留各項原分數
四個面向各使用零到三的序位等級。序位代表高低順序與不同性質的跨越,不能把兩分讀成一分的兩倍實際傷害機率。
能力增益加上能力範圍,形成嚴重程度軸。部署容易度加上發現容易度,形成另一條軸,再依矩陣得到可忽略、低、中、高或危急的初步分級。
原文另要求能力增益對最終等級設上下界。能力增加很少的方法,不該只因容易使用就得到高分。解鎖前沿能力的方法,也不該只因難操作便被分到低等級。
因此,分享最終等級時仍要附四項判斷理由。否則兩個同樣被標為高風險的方法,可能一個強在能力,另一個主要是更容易擴散,處理方式未必相同。
公開一個方法,為何會改變評估?
方法公開後,後來使用它的人不必重新付出發現成本,因此發現容易度可能上升。但公開並不自動代表它解鎖更多能力,仍要另外檢查。
這使評估帶有時間性。某項研究剛在內部發現時,需要特殊資源才能取得。當原理或可重現材料廣泛流通,後來者面對的條件已經不同。
能力範圍也需要持續重核。某方法在一種模型版本有效,不代表換到另一個模型、不同任務或全新工作階段仍有相同結果。
這些差異要求研究者把發現條件與重現條件分開寫。花了多少資源找到方法,和拿到方法後需要多少工作才能重現,是不同證據。
對防守團隊來說,這比單看社群曝光量更有用。廣泛流傳可能改變取得門檻,是否增加實質前沿能力,仍要回到受控評估與可比較基準。
系統層面的防線也仍重要。即使模型願意產生內容,外部工具權限、執行環境與人工授權,仍可能限制它在真實系統中的作用。
延伸閱讀:OpenAI 研究代理透過 DNS 接觸外部聊天機器人:沙盒隔離漏了什麼?
初版還需要哪些證據才能被依賴?
目前最需要驗證的是,不同專家是否能用相同證據得到相近分級,以及等級是否反映有意義的風險差異。框架本身已把這兩點列為後續測試目標。
如果不同評估者對同一方法總是給出很遠的等級,共同用語就還不足以支持比較。需要再調整概念、例子或門檻,才能減少解讀差異。
即使評分一致,也要檢查它是否分出了值得區分的風險。一套大家都能照填的表格,未必已能反映現實中最重要的能力與使用差異。
文件因此明確把版本一點零定位成討論起點,並開放到十二月二十一日收集意見。尚未完成的驗證不能被改寫成已取得產業認證。
評分也不直接規定修補時限或處置方式。個別公司仍要把發現放回自己的模型、使用者與其他防線,決定實際改善計畫。
參與提供意見的機構,也不等於為框架背書。官方特別註明,外部專家對其中想法的回饋不表示認可,引用時應保留這個差別。
對希望採用的團隊,較有建設性的起點是先用既有受控案例比較四個面向,觀察評估者在哪裡分歧,再把分歧和證據帶回討論。
這樣做能讓框架的價值來自更清楚的研究紀錄,而非只多出一張風險標籤。等到基準與門檻更新,原有判斷也比較容易被重看。
FMF 常見問題 FAQ
這是政府頒布的強制標準嗎?
它是產業支持的非營利組織公布的初步框架,仍在公開徵詢意見。這份文件沒有把自己定位成法律、政府認證或強制操作規則。
分數零代表越獄行為可以接受嗎?
零分只代表沒有超過這套前沿風險基準。相關行為仍要依平台規則與傳統網路風險管理處理,不能因此被忽略。
危急等級代表整個 AI 系統必然失控嗎?
評估對象是單一可重現越獄,並非整套系統。真實影響還要看其他防護、工具與存取條件,文件不估計絕對損害。
框架已能直接當修補時限規則嗎?
原文要求進一步驗證,並把門檻定位為討論起點。最終分級也不自動規定公司的修補方式或時間,仍須另作系統層面的決定。
結論
FMF 這份初稿的進展,是把越獄成功之後的差異拆成能討論的證據。能力增加多少、能跨多廣,以及找到與使用有多容易,分別影響判斷。
需要研究這類風險的團隊,可以先閱讀官方四項定義與適用範圍,再追蹤公開意見與一致性測試。保留原始分項與評估日期,會比只保存一個等級更有助於後續比較。