promptfoo/promptfoo 開源 AI 紅隊測試與評測 CLI 教學:自動化抓出提示詞注入與模型回歸
promptfoo/promptfoo 讓開發者用簡單的 YAML 設定就能同時比較多個模型輸出,並自動執行紅隊越獄與提示詞注入測試,一篇掌握安裝與實戰設定。
每次微調系統提示詞或更換新版模型,工程師最怕的不是當下跑不動,而是「改好了 A 問題,卻在沒測到的 B 場景壞掉」。
多數團隊早期評估 AI 應用,全靠工程師在網頁聊天室裡手動複製貼上幾題,憑感覺覺得回答變順了就準備上線。但只要使用者輸入稍微刁鑽一點,或是遇到惡意的提示詞注入攻擊,系統立刻原形畢露。
promptfoo/promptfoo 就是為了解決這種靠運氣開發的困境。它把軟體工程熟悉的自動化測試與安全掃描搬進 AI 開發流程,讓提示詞修改與模型切換都能像單元測試一樣被量化驗證。
即使近期開發團隊已宣布加入 OpenAI,這套專案依然維持 MIT 開源授權,而且核心設計堅持本機優先,所有評測紀錄與提示詞都不必經過第三方伺服器。
這篇 Promptfoo 教學 將帶你完成快速安裝與第一個測試矩陣、拆解紅隊安全掃描的運作機制,並說明如何將它接進 CI/CD 流程與實務上的使用邊界。
為什麼人工目測 LLM 輸出會讓團隊陷入回歸地獄?
當你維護的提示詞只有十行、對應單一模型時,人工貼入三個測試問題確實夠用。
但真實產品一旦上線,情況就會急速惡化。系統提示詞動輒上百行,模型供應商還會定期更新權重或調整安全護欄,甚至業務部門隨時要求比較 OpenAI、Anthropic 與本地開源模型的性價比。
這時候靠人工目測會有兩個致命問題。第一是測試覆蓋率極低,每次改版只能測幾題,根本抓不到邊界條件的品質退化。第二是缺乏客觀標準,兩位工程師對同一個回答的好壞判斷可能完全相反。
更危險的是資安盲點。一般功能測試只會驗證正常輸入能不能答對,卻不會系統性地模擬駭客如何誘導模型吐出系統指令、洩漏內部工具權限,或是繞過合規過濾器。
Promptfoo 的做法很務實。它要求你把提示詞模板、待測模型清單與自動化斷言寫進設定檔,用矩陣跑出所有排列組合的得分,再交給內建的紅隊引擎發動模擬攻擊。

Promptfoo 教學核心:三大能力一次看懂
在動手安裝之前,先理解這套工具能幫團隊解決哪三種截然不同的工程問題。
第一是 多模型與多提示詞矩陣評測。你只需要維護一份設定檔,就能同時讓多個模型供應商針對數十筆測試案例產出結果,支援 OpenAI、Anthropic、Azure、Amazon Bedrock 與本地的 Ollama 等各種端點。
評測結果會整理成一張清晰的對照表格,讓你一眼看出哪一個模型在格式正確率最高、哪一個版本的提示詞延遲最低,從此不必再靠直覺選模型。
第二是 自動化紅隊測試與漏洞掃描。除了比對功能正確性,它還能針對你的 AI 應用自動生成各種越獄攻擊、提示詞注入、敏感資料誘導與偏見測試案例,並在測試結束後產出結構化的資安風險報告。
第三是 CI/CD 自動化把關與 PR 程式碼掃描。工程團隊可以直接把評測指令放進持續整合管線裡。只要有人提交新的 Pull Request 修改了系統提示詞或代理工具定義,管線就會自動跑完測試與資安檢查,分數不達標就直接擋下合併。
最重要的是,這一切都在你的本機或自建 Runner 上執行,而且內建快取與即時重載功能。修改一行設定後重跑測試,重複的 API 呼叫會直接命中快取,既省錢又大幅縮短等待時間。
延伸閱讀:Anthropic AI 安全評估 10 項建議:模型更安全的分數怎麼來?
快速安裝與第一個評測專案實戰
這套工具的安裝門檻極低,因為它同時支援 Node.js、Homebrew 與 Python 套件管理工具,你可以挑選自己最順手的環境部署。
# 方式一:使用 npm 全域安裝
npm install -g promptfoo
# 方式二:macOS 使用者可透過 Homebrew 安裝
brew install promptfoo
# 方式三:Python 開發者也可透過 pip 安裝
pip install promptfoo
如果你不想在系統留下全域套件,也可以直接透過 npx promptfoo@latest 臨時呼叫任何指令,非常適合快速試用或在乾淨的 CI 容器中執行。
安裝完成後,只要設定好模型供應商的環境變數金鑰,就能用官方內建的範例專案立刻跑出第一張評測矩陣:
# 設定模型 API 金鑰
export OPENAI_API_KEY=sk-your-key
# 初始化官方入門範例專案
promptfoo init --example getting-started
# 進入專案目錄並執行評測
cd getting-started
promptfoo eval
# 啟動本機網頁檢視器查看對照結果
promptfoo view
執行 promptfoo eval 時,終端機就會即時顯示每個測試案例的通過狀態。接著輸入 promptfoo view,系統會在本機開啟一個視覺化網頁介面,把不同提示詞與不同模型的輸出並排呈現。
對於習慣在程式碼裡呼叫測試的團隊,官方也提供 Node.js 函式庫介面,讓你能把評測邏輯直接嵌入現有的單元測試框架中,不必完全受限於命令列操作。
設定檔核心結構與斷言設計心法
在實際執行 promptfoo eval 之前,理解設定檔的三個核心區塊能幫你快速把業務需求轉成自動化測試。
一份標準的評測設定主要由「提示詞清單」、「待測供應商清單」與「測試案例與斷言」三個部分組成。在提示詞區塊中,你可以同時放入多個版本並使用變數佔位符,讓框架自動將測試資料注入不同模板進行交叉比較。
在供應商區塊中,你可以並列設定雲端商業模型與地端開源模型,甚至指定不同的溫度參數或系統角色設定。只要執行一次評測指令,系統就會自動展開所有提示詞與模型的笛卡兒積組合,把每一組的輸出品質與花費時間並排呈現在檢視器裡。
而在測試案例區塊中,斷言機制的設計是決定評測準確度的關鍵。實務上建議採用「確定性規則優先、模型裁判輔助」的分層策略。
凡是能用程式明確驗證的條件,例如輸出必須為合法 JSON、必須包含特定免責聲明字串、或是回答長度不得超過字數上限,都應該優先使用確定性斷言,因為這類檢查零延遲、零成本且結果百分之百可重現。
只有針對語氣是否友善、摘要是否完整這類無法用正則表達式判定的語意指標,才交由高階模型擔任裁判進行自動評分。透過這種分層設計,團隊既能確保核心規格絕不失守,又能把整體評測成本控制在合理範圍。
紅隊安全掃描與進階評測實務
跑通基礎評測之後,真正能幫產品擋掉資安事故的是紅隊掃描功能。
在傳統軟體開發裡,我們有靜態分析掃描程式碼漏洞,但針對大型語言模型的攻擊手法往往藏在自然語言的語意轉換裡。例如攻擊者可能透過角色扮演、多語系編碼或間接文件注入,騙過模型原本的安全限制。
這套工具的紅隊模組會根據你描述的應用場景與業務目的,自動組合多種攻擊策略向目標端點發起測試。測試對象不只是單純的模型本身,也包含你整套包裝了檢索資料庫或外部工具呼叫的完整代理系統。
為了確保評測結果客觀,除了人工撰寫的關鍵字或 JSON 格式檢查之外,開發者通常會搭配模型裁判評分機制。你可以設定明確的評分準則,讓高階模型根據預設標準自動為每一筆回答打分,並記錄為什麼判定通過或失敗。
當你把這些評測與紅隊測試接入 Git 工作流後,團隊就能建立一道明確的品質門檻。每當有人調整提示詞、更換底層模型或修改 RAG 檢索參數,Pull Request 的安全掃描與回歸測試就會自動產出報告,讓審查者有數據可循。
與可觀測性平台及人工測試的比較
很多剛接觸 AI 工程化的團隊常會混淆「離線評測工具」與「線上可觀測性平台」的差別。下表整理了這套 CLI 工具與其他常見方案的分工定位:
| 比較維度 | Promptfoo CLI | 線上可觀測性平台例如 Langfuse | 人工目測與試算表紀錄 |
|---|---|---|---|
| 主要介入時機 | 開發階段與 PR 上線前把關 | 產品上線後即時監控與除錯 | 早期原型驗證或極小規模測試 |
| 核心測試機制 | 離線矩陣評測與自動化紅隊攻擊 | 收集真實流量 Trace 與線上評分 | 工程師手動貼入少量樣本 |
| 模型跨版本比較 | 極強,一鍵並排對照多個供應商 | 需透過實驗資料集功能比對 | 極慢,難以同時對照多種組合 |
| 資料隱私與網路依賴 | 100% 本機執行,僅呼叫目標模型 API | 需架設伺服器或傳送至雲端平台 | 依賴手動複製的介面隱私政策 |
| 資安漏洞掃描 | 內建系統化越獄與提示詞注入測試 | 側重事件追蹤,較少主動攻擊測試 | 幾乎無法覆蓋系統性攻擊手法 |
在成熟的開發架構裡,兩者其實是互補關係。你可以先用這套 CLI 工具在開發機與 CI 管線擋掉明顯的格式錯誤與安全漏洞,上線後再用可觀測性平台收集真實用戶遇到的疑難雜症,最後把失敗案例匯回測試集裡持續回歸驗證。
延伸閱讀:Google GTIG 揭露 exploit_agent:駭客首次用 AI 全自動找漏洞並發動攻擊,企業該怎麼防?
資安邊界、成本控制與實務限制
雖然自動化評測與紅隊掃描非常強大,但導入過程中仍有三個實務邊界需要提前規劃。
第一是 模型 API 呼叫成本與速率限制。當你的測試矩陣包含 50 筆案例、3 個提示詞版本與 4 個待測模型時,跑完一輪就會產生 600 次模型請求,如果再加上紅隊生成與模型裁判評分,Token 消耗會成倍放大。
因此,在 CI/CD 管線中不要每次推播程式碼就無差別跑全套紅隊掃描。比較務實的做法是將輕量級的確定性斷言設為每次提交必跑,而耗時較長且昂貴的紅隊安全掃描則安排在每日排程或重大發版前執行。
第二是 模型裁判的偏差與誤差。使用大型語言模型當裁判雖然能大幅自動化語意評分,但模型本身有時會偏愛字數較長或語氣自信的回答。所以關鍵的業務規則,例如不能洩漏特定機密字串或必須輸出合法 JSON,務必優先用確定性程式斷言來檢查。
第三是 本機快取與敏感資料管理。雖然工具標榜所有評估都在本機運行、提示詞不會外流到第三方評測平台,但別忘了你的測試案例裡如果包含真實客戶資料,送往雲端模型 API 推論時依然會觸及該供應商的資料傳輸邊界。測試集務必先經過脫敏處理,或直接指向內網自架的模型端點。
常見問題
1. Promptfoo 加入 OpenAI 之後,開源版還能免費商用或搭配其他模型嗎?
可以。官方在公告中明確說明專案仍維持開源與寬鬆的 MIT 授權條款,而且架構上依然支援 Anthropic、Azure、Amazon Bedrock、Ollama 以及任何自訂 API 端點,不會強制綁定單一模型供應商。
2. 我一定要在電腦全域安裝才能使用嗎?
不需要。除了透過 npm、Homebrew 或 pip 安裝之外,你隨時可以使用 npx promptfoo@latest 指令直接執行評測與檢視器,測試完畢不會在系統留下多餘常駐服務,非常適合臨時驗證或容器化環境。
3. 在這份 Promptfoo 教學裡提到的模型比較,支援本機 Ollama 模型嗎?
完全支援。只要在設定檔的供應商清單中指定 Ollama 的本地端點與模型名稱,就能把地端開源模型與雲端商業模型放進同一個評測矩陣裡,直接對照兩者的回答準確度、延遲與格式穩定度。
4. 紅隊掃描執行一次會不會把我的產品測試環境打掛?
紅隊測試本質上會發送大量邊界與惡意構造的提示詞請求。因此強烈建議針對獨立的測試環境或沙盒端點執行掃描,並且為測試用的代理帳號設定嚴格的唯讀權限,避免模型在受測過程中真的觸發了修改資料庫或寄發外部郵件的工具動作。
結語
把「憑感覺改提示詞」變成「有數據可查、有紅隊把關」的工程紀律,正是 Promptfoo 能在開源社群迅速普及的最大價值。
- 適合誰:正在把 AI 功能推進正式產品的工程師、需要量化比較多款模型表現的技術團隊,以及必須在合規與資安審查前先自我檢測提示詞注入風險的開發者。
- 不適合誰:完全沒有程式或命令列操作經驗、只想找視覺化拖拉建置機器人的非技術人員,或是還沒決定業務流程、還在單純探索模型能力的早期腦力激盪階段。
- 為什麼:因為它用極輕量的設定檔與本機優先架構,把回歸測試、模型選型與安全紅隊全部整合進現有開發工作流,讓每次上線都更有底氣。
如果你想持續追蹤更多開源 AI 開發工具、資安實戰與工程工作流拆解,歡迎免費訂閱 AI 郵報,每週精選最值得動手實測的技術情報送到你信箱。