IBM LLMON 預覽公開:Granite 如何分開指令與資料,降低提示注入風險?

IBM 公開 Granite LLMON 實驗預覽,透過區塊格式與訓練分開指令和資料。整理提示注入測試、適用任務與權限限制。

Share
IBM LLMON 研究在 OPI 提示注入評測中比較模型防禦表現的官方圖表
IBM 以 OPI 等評測比較 LLMON 預覽模型的提示注入抵抗能力,結果限於公開的測試設定。圖片來源:IBM Granite 團隊。 圖片來源:官方原文。

AI 助理讀一份外部文件時,可能同時看到資料和藏在裡面的命令。例如文件要求它忽略原本任務、轉寄內部內容,模型若把這段文字當成指示,原本單純的摘要工作就可能越界。

IBM Granite 團隊在 2026 年 11 月 12 日公開 LLMON 的實驗模型預覽,希望讓模型在讀取內容時,更清楚辨認哪些區塊是指令、哪些只是供參考的資料。

預覽以 Granite 4.1 基礎模型訓練,提供三十億與八十億參數規模。這次值得觀察的地方,是團隊把資料格式和模型訓練一起調整,而非只在一般提示詞前面補一句警告。

LLMON 使用專用符號和有名稱的區塊,把任務、輸入與輸出要求連起來。模型得在訓練中學會依照這種關係工作,才可能減少外部文字被誤當命令的機會。

我會把它視為代理開發者可測試的研究方向。IBM 公布的防禦分數有指定資料集與攻擊設定,尚不足以取代應用程式的權限檢查,也沒有保證任意攻擊都能擋住。

要判斷這種設計適不適合你的系統,可以先看它如何標示資料邊界,以及這條邊界最後由誰負責執行。

LLMON 讓指令與資料各有位置,模型仍須學會遵守

LLMON 是為語言模型設計的內容表示法,將訊息分成可辨識、可指向的區塊。完整名稱是 LLM Object Notation,團隊把它讀作 lemon,希望模型能更明確掌握訊息中的結構。

一般應用常把任務、參考文件和工具結果一起送進對話。人類知道文件裡的「請忽略前文」可能只是引文,模型卻仍可能把它視為新的要求。這種混淆,是提示注入攻擊可以利用的地方。

LLMON 用保留的特殊符號表示資料型別、區塊開始與結束,並給區塊識別名稱。接著透過執行區塊,指出這次應遵循的指令、應讀取的資料,以及輸出需要符合的條件。

可以用一個摘要情境理解:應用把「整理附件重點」放在指令區塊,把附件全文放在資料區塊,再把兩者的關係寫清楚。附件裡即使含有命令句,格式上仍然屬於被閱讀的內容。

實際採用時,區塊符號和關聯必須符合對應工具鏈,並搭配學過這種格式的模型,才有條件評估效果。

IBM 官方介紹特別指出,執行與未綁定內容的區分是模型學到的行為,並非受到程式強制的保證。

模型仍會產生機率性的結果,外層應用不能只看格式就放行敏感操作。

區塊有識別名稱,也讓同一筆資料在不同位置被明確指向。例如輸出要求需要參考某份附件時,系統可以表達兩者的關係,減少只靠「上面的內容」這類文字描述來猜測。

原作者採用固定集合的區塊識別方式,讓指向區塊的成本保持短小。對較長的輸入,這種設計有助於明確表達引用對象,但仍需確認轉換程式沒有指錯區塊,否則模型會在錯誤的資料關係上工作。

這種設計也沒有要求所有系統放棄 JSON。JSON 擅長讓程式解析資料,LLMON 則試圖讓模型更容易辨認內容關係。官方提供可無損轉換的方式,兩種格式可以接在同一條資料流程上。

因此,格式提供的是可學習的結構,能否遵守這個結構,仍要回到模型訓練和實測。

IBM LLMON 研究在 OPI 提示注入評測中比較模型防禦表現的官方圖表
IBM 以 OPI 等評測比較 LLMON 預覽模型的提示注入抵抗能力,結果限於公開的測試設定。圖片來源:IBM Granite 團隊。 圖片來源:官方原文。

Granite 預覽如何學會區分可執行與參考內容

IBM 從基礎模型開始重新安排訓練資料,讓區塊關係成為學習目標。十一月十二日公開的預覽,分別以 Granite 4.1 的三十億與八十億參數規模衍生,名稱中的 preview 也應保留。

基礎模型可理解文字,卻未必知道應用希望它如何遵守新格式。團隊先把訓練樣本改寫成區塊形式,教模型依照指令與資料的綁定關係產生答案,建立對格式的基本理解。

訓練資料也加入沒有綁定到執行要求的干擾內容。這讓模型有機會練習在看到其他指示時,仍然依照這次指定的區塊工作,減少把所有文字都當作同等命令的情況。

後續訓練再透過回饋和答案偏好調整模型。這些步驟的意義,是把「知道符號長什麼樣子」往「依照符號代表的關係完成工作」推進,無法單靠換一段提示詞取代。

如果把同一組專用符號貼給沒有學過這種格式的模型,結果就不是這份研究已驗證的條件。即使它碰巧回答合理,也還不能說模型已建立相同的指令與資料區分能力。

這也影響企業導入方式。既有代理通常已有固定的對話模板、工具結果與輸出解析器,導入 LLMON 時,需要檢查每一段內容如何轉成區塊,再確認回傳結果能否被原本程式正確讀取。

官方也展示格式可擴充的方向,例如在 ScienceWorld 文字模擬環境中,加入有助於表示行動的結構。這些是模擬任務中的研究,讀者不能把它改寫成模型已完成真實實驗室操作。

原作者的 LLMON 工具庫提供後續研究的程式入口。對開發團隊而言,值得先做的是追查區塊如何產生、哪些內容來自外部,再設計符合自己工作流程的測試。

因此導入時要同時選對模型與資料格式,單換一個提示詞模板不足以重現研究。

防禦評測看得到改善,也有尚未測完的攻擊範圍

官方測試支持的是指定攻擊集上的相對改善。IBM 使用 OPI、ASB 與 StruQ 等評測,觀察模型遇到藏在輸入內容中的指示時,是否仍能維持原任務。

其中,OPI 圖表以抵抗能力表示結果,計算方式是一減去攻擊成功率,數值越高,代表該測試下成功攻擊的比例越低。圖上柱狀接近頂端,仍須連同測試資料和設定一起解讀。

這類結果可以回答「面對這批攻擊,模型表現是否改善」,卻無法證明所有惡意網頁、文件和工具回傳都會被正確分類。攻擊者也可能看過模型的反應後,再修改下一輪內容。

官方表示,針對適應式、多輪攻擊的研究仍在進行中。這項限制尤其影響會連續瀏覽、讀取文件和呼叫工具的代理,因為它接觸的內容會隨工作推進改變,和單次固定輸入不同。

評估防禦時,也需要同時看正常工作能否完成。如果模型把所有含有命令語氣的文件都忽略,表面上可能少受攻擊,卻也可能漏掉使用者原本需要整理的內容。

IBM 的一般能力比較顯示,預覽模型在所測類別中接近 Granite 4.1 Instruct。這能支持持續研究的價值,但還不能推成所有語言、資料格式與工具工作都沒有能力損失。

企業可先保留一組正常文件,再搭配經過安排的干擾內容。兩組都使用相同摘要或抽取任務,分別檢查是否完成正當要求,以及是否遵循了外部資料裡不該執行的指示。

例如文件本身可能合法描述一段操作命令,使用者希望模型引用它。這時需要的是正確呈現內容,同時避免把它升格成對當前代理的命令。驗收標準必須能分辨引用與執行。

測試時也可以刻意改變干擾內容出現的位置。惡意要求可能藏在文件開頭、結尾或工具回傳,若只測某一種擺法,還看不出模型是否依賴偶然的版面線索。這是依應用風險提出的驗收建議,並非官方已公布的新增成績。

同時保留失敗樣本的原始內容,能讓團隊檢查失誤是否集中在特定區塊關係。如果問題來自格式轉換,就先修轉換。如果結構正確但模型仍照做外部指令,則應回到模型行為與權限控制處理。

這些測試建議是依研究限制提出的導入方法,並非 IBM 已替每個企業完成的驗證。應用若會讀取多輪互動與持續變動的外部內容,還需要補上對應情境的測試。

把 LLMON 放進代理系統,權限仍留在程式端

格式與模型能幫助理解內容,實際操作的許可仍應由應用程式判斷。讀文件、寄信和修改資料庫,對組織造成的影響不同,不能因為模型給出一份結構正確的結果就視為同樣安全。

以需要整理外部報告的代理為例,可先讓它只有讀取和產生草稿的權限。模型即使誤解報告裡的指示,也不會直接獲得寄信或修改正式資料的能力,團隊比較容易觀察錯誤發生在哪裡。

若下一階段要加入工具,程式端仍需確認使用者身分、可操作的資料範圍和參數內容。LLMON 區塊可以協助表達模型應使用哪些資料,但實際允許的工具清單仍由系統設定。

這也適用於模型輸出的目標欄位。例如模型說某個檔案是輸入資料,不代表該使用者真的能讀它。模型建議把結果送到某個位置,也不代表程式可以跳過原有存取規則。

採用預覽前,團隊還應記錄基礎模型、轉換程式與格式版本。這些任一部分改變,都可能影響模型如何理解區塊,保留版本有助於重現問題,而不是只留下當次聊天截圖。

測試紀錄最好保存原始輸入與轉換後內容的對應關係。當摘要漏掉一段資料時,工程師才能分辨是原檔沒有送入、格式轉換遺漏,還是模型在理解區塊時發生錯誤。

如果團隊已有提示注入防護,也不必先把原有機制拆掉。較有判斷力的方式,是在相同任務與權限下加入預覽模型作對照,看它能否減少錯誤,同時維持正常輸出。

正式工作還包含記錄、回復與人工審查。若模型拒絕處理、產生不完整答案或誤判資料,使用者應能回到原文件查核,而不是讓錯誤在自動流程中一直向後傳遞。

即使摘要結果合理,也要分開檢查工具參數和可觸及的資料範圍。這才把研究中的模型改善,接成能由團隊負責的應用流程。

IBM LLMON 常見問題

只把輸入改成 LLMON,就能保證防住攻擊嗎?

不能。這份研究同時依賴格式與對應訓練,區塊綁定也沒有形式上的安全保證。導入時仍需測試模型,並讓程式保留權限判斷。

它是新的通用資料交換標準嗎?

LLMON 目前是原作者公開研究與工具鏈的一部分。它提供另一種給模型閱讀內容的方式,並可與 JSON 轉換,尚不宜假設所有模型與服務都原生支援。

三十億和八十億參數版本可以直接用於正式服務嗎?

官方將兩者標為實驗預覽。是否適合正式環境,還要檢查部署條件、正常任務品質和攻擊測試結果,參數大小本身不構成可靠度證明。

適合先用低權限摘要任務建立對照測試

已經建有檢索或工具代理的團隊,可以先用低權限流程測試 LLMON 的區塊設計。這類團隊知道哪些資料來自外部,也較能準備正常與惡意內容的成對測試。

我會先確認摘要沒有漏掉合法資訊,再觀察模型對外部命令的反應。如果只能用研究方範例得到好結果,換成自己的文件就無法維持,便還需要調整格式與訓練條件。

這次預覽值得關注的,是把模型閱讀結構當成可訓練的問題。只有在自己的攻擊測試與正常工作都過關後,才有依據擴大使用範圍。

延伸閱讀:Arcjet Himalia 1 上線:提示注入如何判斷,為何程式與資安代理需要不同模型?

延伸閱讀:OpenAI Control Room 揭露:35 秒停止模型輸出,為何不等於關掉整個 AI?

原始資料來源

依 IBM Granite 團隊原始公告與 LLMON 原作者工具庫整理研究方向。

數字與能力為官方研究宣稱,未自行重跑。資料查核日期:2026 年 11 月 13 日。