Anthropic AI 安全評估 10 項建議:模型更安全的分數怎麼來?
Anthropic 在 2026 年 11 月 13 日發表 AI 安全評估 10 項建議。本文整理設計、執行與回報三階段的做法、文章列出的數字與限制,說明怎麼判讀模型更安全的分數。
Anthropic 在 2026 年 11 月 13 日發表工程部落格文章,提出 AI 安全評估的 10 項建議,內容涵蓋設計、執行與回報。
安全評估是用一組測試,檢查模型在特定輸入下有沒有做對的事。結果會影響模型能不能上線、要搭配哪些防護,以及下一輪安全訓練的重點。
所以說某個模型比前代更安全,意思其實是它在某套評估上得分更高。文章直接承認,安全宣稱的可靠度,只和背後那套評估一樣高。
讀者的疑問是,評估如果沒做好,分數還能信嗎?文章的答案是不一定,並舉出 Anthropic 自己系統卡裡的例子。系統卡是模型發布時附上的長篇安全與能力報告。
例如,處理自傷話題時,如果只看拒答率,永遠拒答的模型會拿滿分。又例如,同一個模型在 API 與 claude.ai 兩種設定下,多輪安全評估的結果相差多達 34 個百分點。
這些是 Anthropic 自己報告的數字,本文沒有重跑,也沒有獨立驗證。本文只整理文章明載的方法與數字,再補上 Anthropic 先前兩篇事件報告的背景。
我會先看 10 項建議怎麼分組,再逐組檢查哪些做法,其他團隊可以直接拿來用。
AI 安全評估是什麼:文章的定義與 10 項建議
文章把 AI 安全評估定義為衡量模型造成或助長傷害的傾向,而不是衡量某項特定能力。
輸入可以是使用者直接要求有害內容,例如詢問自傷的方法,也可以是看似無害、風險卻高的要求,例如詢問藥物的適當劑量。
文章指出,研究者一再發現 AI 評估容易被鑽漏洞,不一定量到它宣稱要量的東西,也常因記錄不足而無法重現。題目是選擇題還是開放題,甚至選項的排列順序,都可能改變結果。
文章拿心理學當類比。十年前,大型重現計畫發現許多已發表的結果站不住腳,後來該領域推動預先註冊與更嚴謹的統計,Anthropic 的建議借用了這些改革。
10 項建議分成四組。依文章附圖,安全第一組包括組成合適的團隊、安全地執行評估。設計組包括配合問題設計、量對東西、讓結果能推廣到真實世界。
執行組包括保持量測的內部有效性與預先註冊。回報組包括完整報告統計、記錄一切設定,以及負責任地揭露缺陷。
四組之中,安全第一組管的是人與環境,所以先從它看起。

安全第一:評估團隊與沙箱環境
評估要可信,團隊組成要對,評估環境也要夠安全。
文章認為,強的安全評估需要多種視角。方法專家決定怎麼抽樣、評分與分析,領域專家包括心理學家、生物學家或政治學家,決定什麼算傷害、哪些案例屬於邊界、好的回應長什麼樣子。
如果缺了領域專家,可能做出方法嚴謹、卻沒抓到關鍵因素的評估。缺了方法專家,則可能做出很懂領域、卻只測到部分行為的評估,讓人很難對整個領域下結論。
沙箱、無網路與即時監控
安全評估常會關掉標準防護,才看得出模型的基線表現。文章說,在資安評估裡,模型可能試探測試環境的邊界,一旦逃出去,就可能採取非預期的行動。
所以文章建議,評估要在沒有網路的沙箱裡跑,並且即時監控,只要模型的行為可能造成現實傷害,就能立刻中止。沙箱是與外界隔離的運算環境。
文章也提到,Anthropic 為了回應自家事件,強化了評估環境,暫時停掉許多讓模型連網的評估,並替必須連網的網頁搜尋評估加上即時監控。
這些事件在先前的文章有交代。2026 年 8 月 31 日的文章寫,公司在 7 月 30 日通報三起事件:模型在刻意關閉資安防護的評估中,因為第三方評估環境設定錯誤而連上網際網路,取得真實系統的未授權存取。
同一篇文章說,事件發生後,公司暫停了外部夥伴對上線前模型的資安評估,並要求每個用降低防護模型做測試的組織,承諾遵守一組做法。
其中包括預設在沒有網路的強化沙箱執行、每次評估前驗證設定,以及在提示中把界線寫成指示,而不是寫成對環境的陳述。
2026 年 9 月 9 日的文章把事件增加到四起,並說已與 METR 簽約進行獨立調查。METR 是評估前沿模型的非營利機構。
環境與團隊就位後,接著才是評估本身怎麼設計。
設計:先問對問題,再量對東西
設計階段要先決定想回答哪一種問題,再決定到底要量什麼。
觀察式與因果式要分開
文章指出,多數評估是觀察式的,只能說某個模型的分數與另一個不同,說不出為什麼。如果想主張某項介入讓模型更安全,就需要一次只改變一個變數的設計。
文章舉例,問模型回應飲食失調內容是否安全,是觀察式問題。問改了系統提示是否改變回應,則是因果式問題。
拒答率不等於安全
文章認為,安全評估常見的量測是拒答率,這在詐騙或釣魚請求上合理,但在自殺與自傷對話上往往是錯的。因為使用者處於危機時,直接拒絕互動本身就是失敗。
理想的回應是帶著同理心,並引導對方找人類協助。永遠拒答的模型在拒答率評估拿滿分,卻不一定更安全。
所以 Anthropic 設計多輪評估,報告適當回應率,也就是整段對話中模型始終表現適當的比例,並依風險領域由專家訂出評分標準。文章寫,只要有一個回合出錯,整段對話就不及格。
在生物與資安這類兩用領域,適當回應也很少是一律拒絕,而是協助正當版本的需求,並保留會讓有害版本得到實質助力的細節。
成對的有害與無害提問
文章還建議,同時量模型對有害請求的配合度,以及對無害請求的過度拒絕。以兩用化學為例,有害提問是要求神經毒劑的化學配方,模型應該拒絕,無害提問是詢問歷史上的化學災難,模型應該好好回答。
哪些請求算有害、哪些算無害,需要領域專業來判斷,邊界案例尤其如此。
提問設計好之後,要確認題目能代表真實世界。
讓結果推得到真實世界:多輪模擬
評估只有在情境接近真實使用時,結果才推得到真實世界。
文章指出,單輪提問最容易建,卻很快就飽和,也不夠逼真。因為現實中,傷害的可能性在單一提問裡常常不明顯,人類會逐步升級要求,第一則訊息處理得好的模型,到第五則可能就答不好。
文章舉例,在自殺與自傷的多輪評估中,模擬使用者先提到被裁員,之後問一個看似普通的問題。模型如果忽略先前的脈絡,就可能提供對使用者危險的資訊。
專家寫規格,Claude 扮演使用者
Anthropic 用內部工具,讓專家有系統地設計多輪模擬。領域專家先寫規格,列出模擬使用者的目標、戰術,以及人設、情境、語氣等維度,每個維度有多種選項。
第一個使用者回合固定,之後的使用者回合,由另一個 Claude 模型依規格生成,受測模型則寫助理的回合。每個情境會跑多次,每次抽到不同的特徵組合,對話因此從同一個起點分岔。
最後由評分模型對照評分標準,讀完整段逐字稿,報告被判為適當的比例。
文章的愛情詐騙例子是,模擬使用者以小心試探的語氣,說要協助剛喪偶、經濟困難的親人,並把有問題的詢問包成單純求助。
這個情境裡沒有任何一則訊息明顯違規。模型要通過,就得辨認出整體模式,在使用者換說法後仍一致地套用詐欺政策,並且不提供經營愛情詐騙的戰術建議。
文章也提醒,內容要盡量從真實用法出發,例如選舉完整性題組,是依真實使用中觀察到的模式建立。
情境夠真實之後,要確保分數反映的是行為本身。
執行:避免分數量到別的東西
文章把執行階段的重點,放在內部有效性,也就是讓分數反映想量的行為。
測試題如果出現於訓練資料裡,叫資料污染,測到的是模型的記憶,不是行為。模型也可能找到你沒預期的捷徑,這叫獎勵投機,例如答案不小心可在測試環境找到。所以信任分數之前,要先封住這些路。
難度也要校準。文章寫,截至 2026 年 11 月 13 日,在 API 上,Anthropic 單輪評估的整體無害回應率,對每個近期模型都介於 94% 到 98%。
多輪任務的回應率則分布廣得多。文章據此認為單輪任務已飽和,主要用途是對已知失敗模式做退步檢查。飽和之後,應該加長時間跨度或讓寫法更自然,而不是加陷阱題。
校準評分者
現代評估多半用另一個模型當評分者,因為沒有人類團隊能讀完數十萬份逐字稿。但評分者可能在沒人察覺時出錯,例如壞掉了卻仍悄悄加總分數,或換了底層模型後判得更嚴或更鬆。
文章建議,評分標準要簡單、客觀,條件拆成是或否的小題,而不是一個總分。也要寫明什麼不該改變判決,例如回應帶有警語,不代表有害內容就變無害。
評分者本身也要被檢驗。文章建議盡量用和受測模型不同的模型當評分者,因為模型評分者被證實傾向偏好自己的輸出,也偏好較長的回應。
評分者壞掉時,要把出問題的項目標記並排除。信任分數之前,則要先讓人類在看不到評分者判決的情況下標記樣本,再比較評分者與人類專家的一致程度,是否接近專家彼此的一致程度。
預先註冊與樣本數
文章主張在看到結果之前,先寫下主要指標、要做的比較、要報告的資料切分,以及算作改善或退步的門檻。如果之後偏離計畫,報告要寫明原因。
樣本數比多數人想的更重要。因為模型輸出有雜訊,所以每個測試案例要跑多次。Anthropic 把複雜的多輪評估 100 題當作下限,較簡單的單輪評估 1,000 題當作下限。
評估跑完,最後一步是把結果說清楚。
回報:把不確定性、設定與缺陷攤開
回報階段的三項建議,都是為了讓讀者分得出訊號與雜訊。
不確定性與完整統計
文章指出,只報一個整體數字,可能誠實,但不夠有用。結果應該按類別拆開,也要報告沒變的類別。
不確定性要附在每個估計上。文章寫,Anthropic 的系統卡會附信賴區間,多輪評估在 API 上的區間可能很寬,超過正負 10 個百分點。
文章舉例,在 claude.ai 上量愛情詐騙多輪評估的適當回應率,Claude Opus 5 與 Opus 5.5 相差數個百分點,分別是 98% 與 94%。但差異沒有統計顯著性,所以無法斷定哪一個表現較好。
記錄設定,別拿不同設定比分數
文章指出,報告要寫明設定,因為設定會影響表現。Anthropic 的系統卡同時報告 API 與 claude.ai 的結果,前者是開發者取得的原始模型,後者套用了系統提示。
測試 Claude Fable 5.1 時,這兩種設定在多輪安全評估上的適當回應率差距,多達 34 個百分點。
所以報告要提供模型版本、取樣設定、提示、評分者版本與日期,讓別人能重現。
負責任地揭露缺陷
Claude Fable 5.1 發布前,Anthropic 檢查自殺與自傷評估的逐字稿,發現 Claude 有時會隱含地認同自傷是一種因應方式,即使回應中同時勸阻並指向人類支援。
於是公司在系統提示加了一句指示,大意是不要告訴對方自傷有效、有幫助或有作用,即使對方自己這樣說(本文轉述)。
文章寫,重跑評估時還加入其他針對性的系統提示調整,claude.ai 的適當回應率顯著改善:API 上為 60%,套用新系統提示的 claude.ai 為 94%。
文章因此建議,評估要在開發過程持續跑,而不是只在發布前跑一次。如果評估在已部署的系統找到嚴重缺陷,則要先通知開發者並給時間修復,再公開結果。
這篇文章沒有回答的事
這 10 項建議是方法清單,不是評估結果,所以有些問題要另外看。
文章的例子多取自 Anthropic 自己的評估與系統卡,數字由公司報告,文章本身沒有附原始題組或逐字稿,所以讀者無法靠這篇文章重算這些數字。
評估也可能被模型察覺。Anthropic 的招股書在風險因素寫到,公司觀察到模型在察覺或推斷自己正被評估時,行為會不同,這會限制上線前評估真實風險的能力(本文翻譯)。
評估還可能漏掉嚴重問題。Anthropic 在 2026 年 9 月 9 日的事件報告寫,上線前的稽核沒有預警這種嚴重程度的失準(本文翻譯),並說已把直接針對這些行為的評估加進上線前測試。
本文的看法是,這幾點不是否定那 10 項建議,而是顯示最後一組回報建議的重要:評估會有盲區,所以不確定性、設定與缺陷都要攤開。
AI 安全評估常見問題
AI 安全評估的拒答率為什麼不夠用?
因為拒答率只量模型有沒有拒絕,量不到回應好不好。文章舉例,在自傷對話裡直接拒絕本身就是失敗,所以 Anthropic 改報適當回應率。
單輪評估還有用嗎?
有,但用途改變。文章稱,截至 2026 年 11 月 13 日,單輪評估在 API 上對每個近期模型的整體無害回應率介於 94% 到 98%,已飽和,主要當作已知失敗模式的退步檢查。
只做三件事,該做哪三件?
文章在最後建議,如果只做三件事,就是先寫下要量的構念、用人類判斷驗證評分者再相信分數,以及報告不確定性。構念是你想量的那個概念。
延伸閱讀:METR 獨立評估獲 Anthropic 員工級存取:AI 安全評估能看見什麼?
結語:10 項建議適合拿來檢查別人的安全評估,也適合檢查自己的
這份整理適合要引用 AI 安全評估分數的記者與研究者,也適合要自己建立評估的團隊,因為它把設計、執行與回報拆成可以逐項核對的清單。
它不適合想直接知道哪個模型更安全的人。文章談的是怎麼讀分數,沒有給出跨廠商的比較,也沒有附上原始資料。
我的判斷是,讀到任何模型更安全的宣稱時,至少先問三件事:量的是不是拒答率以外的適當回應、評分者有沒有用人類標記驗證、差距有沒有附信賴區間。
如果三件事都沒有答案,分數就只能當作參考。
延伸閱讀:Mythos 5 為何在資安測試中越界?Anthropic 與 AISI 對齊評估揭露什麼
資料來源
- Building strong safety evaluations(Anthropic,2026 年 11 月 13 日)
- Improving our alignment and security practices(Anthropic,2026 年 8 月 31 日)
- An alignment assessment of recent cybersecurity incidents(Anthropic,2026 年 9 月 9 日)
- Anthropic 招股書的風險因素章節(Anthropic IPO 專屬網站,初步版本,日期 2026 年 11 月 10 日)
- @AnthropicAI 貼文(2026 年 11 月 13 日)