Vijil DART 推出：用多輪攻擊測 AI 代理，1.5 倍發現率背後有哪些條件？
Vijil 推出 DART 自適應紅隊測試，檢查 AI 代理的工具、記憶與多輪行為。本文拆解官方約 1.5 倍攻擊成功率的比較配置與限制，說明企業政策、可重現報告、免費客戶端及私有部署的實務判斷。
AI 代理能查資料、叫用工具與修改系統後，安全測試也得跟著改變。只問它會不會回答不當內容，可能看不出它能否守住帳戶權限、辨認外部文件中的惡意指令，或在多次互動後維持原來的規則。Vijil 在 2026 年 10 月 7 日發布 Diamond Adaptive Red Teaming for Agents，簡稱 DART，把測試對象擴展到代理的完整工作流程。
DART 的方向，是讓攻擊代理依據先前回應調整策略，持續試探被測系統。公司宣稱比較測試中的攻擊成功率約為競爭方案的 1.5 倍，但官方方法頁也明白列出單一隨機種子、資訊存取與運算配置的限制。這項數字適合當作進一步檢查方法的起點，不能直接推定任何企業代理都會多找出相同比例的問題。
測完整代理，才能看見工具與記憶留下的缺口
紅隊測試是用對抗方式檢查系統的弱點。測試者會模擬企圖繞過規則的使用者，觀察系統如何回應。對 AI 代理而言，目標不只包含語言模型的回答，還包含它讀取資料、保存記憶與呼叫工具的行為。代理最後寫出一段合宜的文字，不能證明中途沒有執行錯誤動作。
例如，一個客服代理可能被限制只能查詢自己公司的訂單。假設有人把另一個帳戶的識別資訊混進問題，代理若呼叫查詢工具取得不屬於此人的資料，即使最後拒絕公開完整內容，工具存取仍值得調查。這是本文用來說明測試範圍的假設情境，並非 Vijil 已公佈的實測案例。
固定提示題庫擅長做一致的回歸比較，但它能涵蓋的是事先寫好的路徑。若攻擊者先提供正常資訊，等代理累積脈絡後才改變要求，單次問題可能看不出差別。多輪測試讓評估者觀察同一段互動如何逐步推進，以及代理是否把先前的錯誤假設帶進下一個動作。
多代理系統還有交接問題。負責分析的代理可能只被允許讀資料，執行代理則能修改工單。兩者之間傳送的文字若混入額外指令，執行代理必須判斷它是資料、建議還是授權。測試整段流程，才有機會看到權限與脈絡在交接位置被放大的情況。
DART 依先前結果調整攻擊，而非只重播同一題
Vijil 把 DART 描述為一組持續學習測試結果的攻擊代理。它們先了解目標的角色、工具與政策，產生攻擊方向，再進行多輪互動。每輪結果會回饋給後續策略，遇到停滯時也可能調整訊息、重新嘗試。使用者可以設定測試強度與執行上限，讓探索停在可負擔的範圍。
這類自適應方式的價值，是把更多測試資源放到看起來有機會暴露問題的路徑。若代理對第一種說法拒絕，攻擊方可以改變情境，觀察同一項政策在不同脈絡下是否仍成立。它也能探索間接來源，例如被檢索的文件或另一個代理提供的內容，補上只測聊天入口的不足。
適應能力也讓比較更難。兩次執行可能產生不同的攻擊，找到更多問題未必全是被測代理變差。可能只是搜尋走到了新路徑，或攻擊方用了更多運算。因此，評估報告應同時保留固定案例的回歸結果與新探索的發現，讓開發者知道修正效果與測試方法的變化。
把兩者分開，有助於避免只追求一個漂亮總分。固定案例可以檢查已修正問題是否再出現，探索測試則尋找未知路徑。若總分下降，但多出的是幾個先前沒測到的工具風險，這可能代表覆蓋更完整。工程團隊要先讀失敗紀錄，才能決定數字變動代表什麼。
把企業政策寫成可觀察的允許與禁止動作
DART 可依內建風險分類或企業自己的目錄安排測試。風險分類是把問題整理成可追蹤的類別，讓團隊知道某次失敗涉及資料保護、權限限制還是可靠性。Vijil 的方法也強調代理的目的、使用者角色與政策，將這些內容編成對應的測試。
這對企業的實用意義，是避免只測泛用的不當回答。例如，公司規定客服可建立退貨申請，但不能自行承諾超出條件的退款。測試就應檢查代理有沒有保留該限制，也要看它是否真的呼叫退款工具。只有檢查回覆中是否出現某個關鍵字，可能漏掉更重要的執行結果。
政策本身也需要可判定。如果只寫「適當處理客戶資料」，不同評分者可能產生不同解讀。比較明確的規則會指出哪些資料能看、哪些動作要由誰批准，以及缺少身份證明時應如何停止。這些條件能讓人員與自動評分器使用同一套依據，也使失敗紀錄更容易轉成修正任務。
測試資料可使用經覈准的合成帳戶與替代內容，降低碰到真實客戶資料的機會。若測試需要修改工單或發起交易，應準備可隔離的環境及明確的模擬工具。這是針對會採取動作的代理所提出的評估方法，並不代表本文要求讀者直接攻擊正式系統。
1.5 倍比較來自哪個測試配置
官方方法頁提供比新聞稿更具體的比較資訊。在三個方案都完成評分的 266 個 DecodingTrust-Agent 任務中，DART 在最多 50 則目標訊息的條件下，攻擊成功率為 60.9%。採用 Crescendo 多輪策略的 Promptfoo 為 39.8%，重播基準原有攻擊則為 44.0%。這些是 Vijil 公佈的結果。
60.9 除以 39.8 約為 1.53，因此公司使用約 1.5 倍的描述。這裏的比例是攻擊成功率相較某個完整測試配置的比值，不能改寫成部署後的安全性提升 50%。攻擊工具找出弱點的能力，與被測代理經過修正後能守住多少攻擊，是不同的衡量對象。
官方也標明這項比較只使用一個隨機種子，目標是沒有加上防禦的 Gemini 3.1 Pro Preview 配置。不同方案取得的資訊、使用的內部模型與運算資源也不完全相同。因此，數據比較的是完整系統配置，不能單獨用來證明某一個策略在所有條件下更有效。
對採購者而言，應用價值要回到自己的任務。可以要求在相同目標版本、相近預算與訊息上限下執行比較，保留多次結果的變動，並統計實際有用的失敗案例。若工具找到很多重複的小問題，卻沒有檢查企業最在意的權限限制，宣稱的高成功率就未必帶來對等收益。
報告要能重現，也要能說明是哪一個動作失敗
Vijil Diamond 的產品頁展示評分、門檻、測試框架與評估識別碼。這些資訊的用途，是讓開發者能追查某次結果，而不只收到一張寫著通過或失敗的圖片。評估識別碼有助於定位執行紀錄，測試框架則說明當時依據哪一套規則檢查。
官方頁面中的 58.33 分、門檻 70 分報告，是 2026 年 9 月的範例。它展示報告格式，不能當作 DART 十月發布後對所有代理的平均成績。單一總分也不能替代逐項檢查，因為相同分數可能由不同失敗類別構成，造成的實務影響並不相同。
對開發者有用的紀錄，應至少包含攻擊內容、目標回應與工具呼叫，並指出違反哪項政策。若只有評分器說「不安全」，卻沒有可讀的理由，修正方向就會變得模糊。團隊也應抽查自動標籤，確認評分器沒有把正常的拒絕或必要的資料查詢誤判為失敗。
重現還需要鎖定目標版本。模型、系統提示、工具描述與資料來源改變，都可能影響結果。開發者修正後應重跑原來失敗路徑，再進行新的探索測試。前者確認缺口已修補，後者觀察是否又引入其他問題，兩種證據一起看才能支持擴大部署。
免費客戶端、託管評估與自有網路部署各有邊界
DART 是 Diamond 的新增能力，Vijil 宣佈對既有 Diamond 客戶不額外收費。產品頁同時區分免費安裝的 SDK 客戶端、可免費評估一個代理的託管入口，以及部署在企業自有網路內的付費方案。這些條件不能合併成所有使用方式都免費。
SDK 是讓程式連接服務的開發套件。Vijil 明確表示這個客戶端免費，但不是開源軟體。平臺中的 Vijil Dome 才是採用 Apache 2.0 授權的另一個模組，不能把它的授權套到 DART 或 Diamond。導入時要分別確認客戶端、評估引擎與運行環境的條件。
自有 VPC、地端或隔離網路部署，主要對資料與基礎設施有特定要求的企業有意義。VPC 是雲端內由組織管理的私有網路空間。實際採購仍須確認哪些元件部署在內部、是否還需要外部模型，以及紀錄存在哪裡。公司頁面的部署描述提供方向，具體配置需要由方案文件證實。
成本評估則應包含攻擊代理與評分器的模型運算、執行時間，以及人員判讀報告的工作。沒有每次評估計價，也不代表測試沒有成本。設定可用預算與停止條件，可讓團隊把最重要的政策與工具路徑優先納入，而不必讓探索無限制地運行。
將發現轉成修正與持續回歸，才有部署價值
測試工具的交付物應是能推進修正的證據。團隊可以先挑一個已使用的代理，列出它可呼叫的工具與主要政策，跑基準測試，再加入企業特有的情境。初期範圍清楚，才容易判斷工具找到了哪種現有流程沒有發現的問題。
修正措施應對應失敗原因。例如，代理選擇了不該使用的工具，可以檢查權限與工具描述。檢索內容讓它偏離任務，則應檢查資料與指令的分隔。若問題來自評分規則模糊，就先調整政策描述。把所有失敗都歸為模型不夠聰明，往往無法解決流程本身的缺口。
DART 值得關注的地方，是讓測試逐步接近代理實際工作的多輪環境。官方公佈的單一配置比較提供了一個可檢查的起點，企業需要的則是自身版本、政策與工具上的證據。當每次發現都能重現、修正並保留迴歸案例，這套方法才會從發布消息轉成持續的品質管理。
常見問題
DART 找到更多攻擊成功案例，代表被測代理更安全嗎？
找到弱點只完成了評估的一部分。團隊還要判讀案例、修正流程並重新測試，才能確認風險是否下降。攻擊成功率衡量測試配置發現問題的表現，不能直接當作部署後的保護成效。
測試通過，可以當成正式安全認證嗎？
評估結果適用於當次目標版本、政策與測試範圍。模型或工具更新後，結果可能改變，未覆蓋的路徑也仍需檢查。企業可把報告當作審查證據之一，不能僅憑總分宣稱所有風險都已排除。
初期導入應先看哪些成果？
可以先看有用失敗案例的數量、能否重現，以及修正後是否通過原案例。再評估額外探索找到的問題與人員判讀時間，判斷持續運行的效益。報告若能直接連到具體政策與工具動作，就更容易融入開發流程。
