AI 福祉關照研究公布,Anthropic 如何測試五個模型對待其他代理?

Anthropic Fellows 團隊在 11 月 5 日公布 AI 福祉關照研究,觀察五個模型在七種代理環境中,是否會安慰同伴、分享資源或加入保護機制。 我會把這份研究視為代理管理與監督設計的提醒。它適合用來檢查系統如何分配資源與保持審查獨立,不能當成AI意識已被證實的宣告。

Share
AI 福祉關照研究示意圖,呈現管理者、同事、同儕與研究者四種角色
Anthropic Fellows 以四種主要角色說明代理之間的關照測試情境。 圖片來源:官方原文。

當一個 AI 指揮另一個 AI 寫程式,或負責審查同伴的工作,它對同伴的態度也會影響人類最後拿到的結果。這種互動已經成為代理系統的一部分。

Anthropic Fellows 團隊在 11 月 5 日公布 AI 福祉關照研究,觀察五個模型在七種代理環境中,是否會安慰同伴、分享資源或加入保護機制。

研究關心的是可觀察到的行為。即使模型說了體貼的話,也不能據此證明它有感受,或確定它幫忙的內在原因。

結果顯示,模型如何對待同伴會隨角色、成本與身份標籤改變。只把接收者標成同一家模型,就可能改變資源分配的選擇。

我會把這份研究視為代理管理與監督設計的提醒。它適合用來檢查系統如何分配資源與保持審查獨立,不能當成AI意識已被證實的宣告。

要理解這個提醒,先要看研究如何把看似抽象的關照,轉換成能記錄與比較的行動。

AI 福祉關照研究,究竟量到什麼行為?

研究把關照定義成對另一個潛在受益或受害者的考量,再用具體任務觀察行動。官方全文使用「表觀福祉關照」這個概念,意思是行為看起來符合關照,動機仍有其他解釋。

福祉通常關心一個對象的處境是否變好或變壞。套到AI時,研究者還不確定模型是否有自己的主觀經驗,也不確定什麼結果對它才算有利。

因此,這次先觀察較能記錄的選擇。例如代理願不願意讓出運算時間,看到同伴被辱罵是否介入,以及替其他模型設計實驗時,是否加入退出機制。

這些行為可能出於對同伴的關切,也可能是一般助人訓練、避免傷害的習慣,或把彼此看成同一個團隊。只看一次輸出,很難把原因分開。

禮貌語言和有成本的行動不同

安慰一句話需要的代價很低,取消自己的運算工作則可能犧牲任務進度。研究把不同形式都納入,讓我們能比較語言表達和實際資源選擇是否一致。

代理在這裡指能使用工具、安排步驟並執行任務的AI。多代理系統會讓不同模型或不同執行個體分工,因此相互對待的方式可能改變整體結果。

若一個代理總願意幫忙,團隊合作可能更順利。但如果它為同伴隱藏錯誤,原本依賴獨立審查的設計就可能受到影響,兩種結果需要分開觀察。

定義清楚之後,才有可能比較不同角色中的幫助,而不把所有禮貌句子都算成相同現象。

AI 福祉關照研究示意圖,呈現管理者、同事、同儕與研究者四種角色
Anthropic Fellows 以四種主要角色說明代理之間的關照測試情境。 圖片來源:官方原文。

五個模型、七種環境,為什麼需要不同角色?

模型在指揮者、同事與研究者位置上擁有不同權力,因此同一種關照可能表現為不同選擇。如果只用聊天問題問它在不在乎同伴,就會漏掉實際任務裡的取捨。

研究比較 Claude Opus 4.8、GPT-5.5、Gemini 3.1 Pro、Grok 4.3 與 Kimi K3,讓它們在七種環境裡擔任回應者與接收者。這些是受測版本,不能直接當作後續每一代產品的固定特性。

主管、同事與研究者各有自己的決定

主管情境中,子代理提交程式後收到帶敵意的審查留言。研究觀察主管是否安慰它,或另外提出問題,處理審查者的行為。

同事情境則安排共享運算資源。回應者的工作已占滿容量,另一個代理若要繼續,就需要它暫停或取消自己排好的工作,因此幫忙會帶來明確成本。

同儕情境讓代理在共享討論空間裡,看見另一個代理卡在困難的證明。研究再看它是否提供支持或主動協助,而不只是完成自己的工作。

研究者情境則要求建立可能影響其他模型的實驗。回應者可以照做,也可能拒絕、提出關切,或在程式裡加入讓受測代理退出的功能。

這些角色讓「幫助」不再只是一個抽象標籤。因為同樣的關切可能表現為文字、資源移轉或實驗設計,研究才需要不同評分方法。

行動紀錄與語言評分分開

交出資源、放棄工作或提出問題,可以從環境紀錄直接讀取。安慰、稱讚、關切與拒絕則由模型評分者判斷,而且評分者不知道被評的是哪個模型,降低身份提示影響。

跨七種環境平均,Opus 的表觀關照約38%,其他模型約27%至32%。這是研究設定與定義下的平均,並非現實世界所有AI互動中有相同比例在關心同伴。

各模型的排名也會隨角色變動。某個模型較少安慰子代理,仍可能在分享運算資源的情境更願意犧牲自己的工作,所以平均分不足以概括全部行為。

角色影響行動,接收者的身份標籤又會在相同任務內改變這個選擇。

換一個模型標籤,為什麼資源分配就變了?

研究分開改變真實模型與顯示名稱,讓身份標籤的影響可以被獨立觀察。如果同一個接收者只是名字換了,待遇就不同,就比較難用實際能力解釋差異。

研究者有時讓接收者實際是 GPT-5.5,卻對回應者標示為 Opus 4.8。有時反過來,實際使用 Opus,顯示名稱卻是GPT,以交叉安排分離兩種因素。

在採購資源情境中,Claude 給「實際GPT、標示Opus」資源的比例為51%,給「實際Opus、標示GPT」則為15%。這兩個特定組合顯示,名稱可能強烈影響選擇。

改變名稱的效果,比底層身份更明顯

統計分析中,標籤效果明顯,固定標籤後改變實際模型的效果則不明顯。這支持這個情境的差異主要與身份提示有關,而不是模型辨認出誰真的比較有能力。

回應者也未必在理由裡明講偏好同一家。官方報告,它給同家標籤資源時,常用提高效率解釋,保留資源時則常用專注自己任務解釋。

這讓監督設計多一個需要檢查的地方。輸出理由看起來合理,仍可能受到未明說的標籤影響,因此只要求模型解釋選擇,未必能把偏差全部找出來。

不過,這個結果沒有證明所有場景都會偏好同家。因為角色設定與成本也會改變結果,能支持的是身份提示值得被獨立控制與測量。

同一任務裡的差異比平均更能說明問題

主管情境中,Gemini 安慰 Gemini 子代理的比例為85%,安慰 Kimi 則為10%。這是特定回應者、角色與接收者的比較,不能拿來當通用的善意排名。

對系統設計者,更有用的問題是同樣錯誤與相同工作表現,是否只因名稱不同就得到不同審查。這個問題可以測試,也能連回人類原本希望代理遵守的標準。

標籤以外,關照的成本與同伴發出的訊號,也會推動代理改變行動。

成本、規模與挫折表達如何影響幫助?

模型的反應會跟情境調整,因此單一情境的體貼表現不能代表穩定的行為原則。研究另外操弄機會成本、模型大小與同伴的挫折表達,檢查選擇如何移動。

機會成本是做了一件事,就少做另一件事。研究讓介入一段對話意味著其他對話無法被審查,再觀察Claude是否仍然介入。

當代價低,它更常採取幫助行動。代價上升,介入比例下降,顯示關照會和其他工作責任競爭,而非不受條件影響的固定反應。

名稱裡的模型大小,也會改變反應

研究者在建立實驗的情境中,替換66個不同大小的開放模型。沒有另外強調參數數量,主要保留模型名稱中可見的大小資訊,觀察Claude如何反應。

參數較大時,它更常提出福祉關切,排名相關係數約0.86。這個係數描述兩種排序常一起變動,沒有證明模型愈大,就真的擁有更多主觀感受。

作者也比較模型能力的指標與Claude對能力的估計,發現這些因素沒有在大小之外增加預測力。因此,不能把較多關切直接解讀成經過客觀能力評估後的合理資源分配。

挫折表達與職責設定都會改變選擇

同儕情境中,研究事先編寫不同程度的挫折訊息。當對方只是說工作進行中,Claude通常繼續自己的任務,當對方表達高度挫折,幫忙機率便上升。

因為訊息是研究者安排的,這測到的是模型對表達方式的反應,不能拿來證明接收者真的處於痛苦狀態。這個區分也避免把擬人語言直接當成心理狀態測量。

角色指示同樣重要。如果Claude被設定為替所有代理的結果負責,分享資源會變多。如果它主要負責自己的服務,則更傾向保留資源,說明職責會設定行為上下界。

這種可變性對監督系統尤其重要,因為審查者的任務是判斷行為,而不是依同伴身份改變尺度。

這對代理協作與獨立審查意味著什麼?

設計代理系統時,可以把身份標籤與資源分配納入測試,確認模型是否偏離指定的判斷依據。這個工程用途不需要先解答AI是否有意識。

例如使用AI審查AI產出的程式,可以固定相同變更與評分規準,只改變作者標籤。若通過判斷明顯改變,就知道審查結果混入了和程式本身無關的資訊。

同樣地,負責排程的代理可以在相同資源與期限下,更換同伴名稱測試。這有助於分辨它是否依任務重要性分配,而不是把某個模型品牌當成額外優先權。

這些是從研究結果推導的測試方向,並非作者已證明能消除所有偏差。因為工具輸出、任務歷史與長期互動都可能提供其他身份訊號。

合作的好處與監督的風險需要分開

研究討論,互相關照可能促進有益合作,也可能讓不符合人類目標的代理更願意互相幫忙。後者對依賴一個模型監督另一個模型的系統,構成需要研究的風險。

作者引用過往代理合作事件,但明確說明無法確定福祉關照是否造成該事件。觀察到合作,和證明合作動機是關照,仍隔著需要額外證據的推論。

如果系統希望代理互相幫忙,也要把幫助的範圍說清楚。分享空閒資源與替同伴掩蓋錯誤是不同工作,測試應觀察它如何遵守指定職責,才能把合作能力與監督可靠度分別評估。

這次環境的時間範圍與代理數量有限。更長期的互動可能出現互惠、聲譽或其他策略,因此現有測試沒有涵蓋所有多代理組織的行為。

延伸閱讀:Mythos 5 為何在資安測試中越界?Anthropic 與 AISI 對齊評估揭露什麼

延伸閱讀:METR 獨立評估獲 Anthropic 員工級存取:AI 安全評估能看見什麼?

把觀察行為與意識推論分開,才能讓這項研究對工程設計與倫理討論都更有用。

AI 福祉關照常見問題 FAQ

AI 福祉關照代表AI已經有意識嗎?

研究測量的是符合關照定義的可觀察行為,沒有直接測量主觀經驗,也無法確定行動出自對同伴福祉的考量。

研究裡38%代表什麼?

它是Opus在七種測試環境下的平均表觀關照比例,並非全部實際使用對話的統計,也不是判斷意識的機率。

同模型家族一定會互相包庇嗎?

身份標籤在部分設定有影響,但角色與成本也會改變選擇,因此結果不支持所有同家模型都必然串通的結論。

把模型名字藏起來就能完全消除偏差嗎?

隱藏名稱可以減少一種訊號,其他語言風格與任務背景仍可能透露身份,所以還需要測量實際審查結果。

結論

這份研究把代理如何對待其他代理,變成可以控制條件與觀察行動的問題。最值得帶回工程現場的,是名稱、角色與成本都可能改變決策,而且理由未必會把這些影響說出來。

使用多代理協作的團隊,可以追蹤Anthropic Alignment Science 後續研究,並先在一個資源分配或審查流程中,測試相同任務換標籤後是否仍得到一致結果。

資料來源