NVIDIA Nemotron PII Japan:10 萬份合成文件,怎麼測 AI 去識別化的漏刪與誤刪?

NVIDIA Nemotron PII Japan 提供十萬份合成日文業務文件。解析生成流程、位置標註、內外部 F1 與漏刪誤刪,說明為何仍要補無個資文件和台灣資料驗證。

Share
NVIDIA 官方金色日本地圖主視覺,上方排列金融、翻譯與 AI 應用圖示
NVIDIA 公開合成日文業務文件,供個人資訊辨識與遮蔽測試。圖片來源:NVIDIA。 圖片來源:官方原文。

Nemotron PII Japan 讓開發者先用合成文件測試 AI 的個人資訊遮蔽。姓名刪不乾淨會留下識別線索,刪掉太多又會讓客服或貸款摘要失去必要內容,兩種錯誤都需要量測。

NVIDIA 於 2026 年 11 月 9 日的官方文章介紹這份資料集,資料卡另列十一月十日釋出。它包含十萬份合成日文業務文件,涵蓋八個領域與四十三種文件類型,附有個人資訊的位置及類別。

資料不是把真實客戶文件改幾個名字,而是先準備合成人物、個人資訊與業務數值,再讓模型產生文字,透過程式插入既定內容並檢查一致性。

這使不同辨識方法能對照相同文件,觀察漏找、邊界錯誤和資訊損失。但所有文件都有個資標註,單靠它無法完整測出一般文件被誤判的比例。

我會把它當成日文業務流程的起始測試材料,再加入自己的文件格式與無個資樣本。若服務處理台灣資料,還必須另外驗證繁體中文、地址及實際情境。

理解它如何生成、標註與評分,才能知道官方的改善數字代表哪一層能力。

測去識別化,必須同時保住文件的用途

個人資訊辨識需要知道一段文字指的是誰,也要知道遮蔽後還剩下什麼。

PII 是能識別個人的資訊,例如姓名、地址或帳戶資料。同樣一串日期,可能是生日,也可能只是文件建立日,所以偵測不能只靠找出像日期的字串。

日文文件還會出現年號日期、分段地址與不同人物角色。若一份醫療紀錄同時提到病人和醫師,系統需要知道每段內容代表誰,才能依工作目的決定如何遮蔽。

資料集因此保留業務情境,而不是把姓名清單當成全部測試。八個領域涵蓋醫療、金融與政府等用途,同一種類個人資訊可以出現在不同文件位置與語句中。

例如,貸款摘要需要移除申請人的識別線索,卻仍可能需要保留借款用途與審查理由。如果整段內容全部遮黑,雖然看似沒有個資,後續工作也無法繼續。

另一端則是只刪姓名卻保留完整地址和帳號,讓人仍可能被識別。因此,不能只用某個欄位刪除成功來判斷整份文件已經處理完成。

一個有用的比較方式,是讓各方法處理同一份文件,分別檢查敏感片段、遮蔽範圍與摘要是否仍能回答原工作問題。三層結果放在一起,才看得出保護和資訊損失之間的取捨。

所以評估目標應同時包含識別風險與任務資訊,而非只計算刪除了多少字。

NVIDIA 官方金色日本地圖主視覺,上方排列金融、翻譯與 AI 應用圖示
NVIDIA 公開合成日文業務文件,供個人資訊辨識與遮蔽測試。圖片來源:NVIDIA。 圖片來源:官方原文。

先固定人物與數字,再讓模型寫出業務情境

資料生成將可計算的內容和文字表達分工,減少故事寫得合理卻數值互相衝突的情況。

生成流程先決定人物與業務內容,再讓語言模型負責寫出自然文字。這能減少名字、地區與帳戶資訊在不同句子間漂移,也讓檢查程式知道應該出現哪些值。

人物目錄提供合成姓名、職業、年齡與居住地等相關屬性,業務目錄則提供公司、銀行或醫療情境。相互有關的資料一起準備,較不容易拼出前後矛盾的文件。

涉及金額時,另由 CalculationPlan 預先計算輸入和結果。它可以理解為一份結構化的計算計畫,先保存借款條件與還款數值,再交給模型寫說明。

文字生成階段使用暫時標記代替既定個資與計算結果,之後程式再把標記換成真正的合成值。標記是待替換的位置,並不是要求模型自己心算填入的空格。

但數值正確,說明仍可能寫錯。例如金額符合規則,文字卻說超出限制,所以替換後還要檢查全文是否和原先計畫一致,不能只確認每個標記都消失。

對想自建合成資料的團隊,這提供一個清楚分工:程式控制必須一致的事實,模型增加表達變化,最後再由規則與抽查驗收。公開資料集採用這套流程,不代表所有生成內容都已免除後續品質檢查。

這個分工提供可檢查的生成依據,仍需要在替換後重新核對整份文件。

位置標註能核對漏刪,卻不是所有資訊的完整清單

標註指出原文的字元範圍與類別,讓開發者能把模型找到的位置逐一對齊。

標註提供每個片段的開始、結束與類別,方便和偵測結果逐一比對。開始位置從零算,結束位置不包含最後那一格,使用時要對回未加標籤的原始文字。

如果拿已插入類別標籤的文字當基準,後面每一個位置都可能被推移。這種錯誤會讓正確偵測看起來像邊界偏差,因此保存原文和對應版本是第一步。

邊界之所以重要,是因為只漏掉姓氏、門牌或帳號尾端,都可能留下不應保留的內容。相反地,範圍抓太大,也會把相鄰的工作資訊一起刪除。

資料集列出五十六種實體類別,但不同文件會依自己的規則選擇標註。這不表示每份都包含全部類別,也不表示所有未標註的文字都能直接視為沒有個人資訊。

官方特別提醒,若模型找到未標註但確實相關的資訊,評分可能把正確偵測算成誤報。因此,精確率變低時不能只調高門檻,還應抽查那些被判錯的片段。

這也讓回歸測試需要保留人工判讀。可以把錯誤分為漏找、邊界不符、類別不同與可能漏標,再決定是修改模型、標註規則還是評分方式,避免不同原因被塞進同一個分數。

使用標註時應保留原始文字,並抽查看似誤判的片段是否其實是漏標。

內部九十八分與外部測試,回答不同問題

官方把內部檢查點選擇與外部泛化測試分開,兩組數字不能互相替代。

官方示範以 GLiNER 模型做微調。微調是用這批任務資料繼續訓練既有模型,讓它更適應日文文件的類別與表達方式,並不是重新訓練一個完整大型聊天模型。

十萬份文件在該實驗中分成九萬五千份訓練、五千份內部驗證,依驗證分數挑選檢查點。公開檔案本身沒有固定切分,下載後仍要自行建立並記錄規則。

內部最高的精確片段微平均 F1 為百分之九十八點零八。F1 綜合考慮找到的片段有多少正確,以及應該找到的片段有多少被找回,不能只讀成每份文件都安全的比例。

因為內部文件相似度高,研究另外用外部 Sumi 資料測試泛化。兩千份測試文件的分數從百分之十三點四一升到七十三點八零,五百二十份分布外文件則從八點一三升到六十五點三零。

這裡比較的是同一組五十六個候選標籤,再映射到八種共同類別,並要求字元位置和類別同時吻合。外部資料沒有拿來挑選訓練版本或調整門檻,才能保留較獨立的檢查。

日期處理也有特定規則:Sumi 的日期標記只涵蓋生日,因此一般日期和日期時間預測會先被移出該項評分。若換成自己的日誌資料,評分定義不同,就不能直接沿用相同分數作比較。

外部測試中的精確率與召回率也有不同樣貌。微調後,Sumi 一般測試約為百分之八十五點一七與六十五點一零,分布外約為六十一點六三與六十九點四三,顯示換一種文字背景,誤報和漏找的比例仍會改變。

這些差異會影響使用方式。如果把所有預測片段直接遮掉,精確率不足會刪除更多正常內容。若把沒找到的片段直接送往外部,召回率不足又會留下識別線索。

因此,外部測試並不只是替內部高分再加一個數字,而是讓團隊看見換文件之後,兩種錯誤如何重新分配。目標資料和工作代價不同,適合的採用門檻也可能不同。

只有保留相同類別映射、門檻與資料切分,前後成績才有可解釋的比較基準。

導入自己的流程,要補沒有個資的文件

一般文件能否正常通過,也是遮蔽系統的品質要求。

全部十萬份文件都有個人資訊標註,所以模型即使習慣對每份文件都提出警報,也可能在這批資料中看起來合理。真正的服務卻常會遇到完全不需要遮蔽的內容。

若要知道誤報率,必須補上沒有個資的文件,再看它們有多少被錯誤攔下。否則團隊可能只改善漏找,卻讓一般公告、產品說明和工作筆記變得無法使用。

門檻也應按資料分布決定。提高採用門檻可能減少不必要遮蔽,但同時漏掉較不明顯的片段,所以調整後要重新檢查兩種錯誤,不能只追求其中一項下降。

對台灣團隊,這份日文資料較適合提供方法與初期對照。繁體中文姓名、台灣地址、身分識別格式和混合語言文件,都需要在目標情境補測,不能由日文改善直接推定。

若流程會把遮蔽後的文件送到外部模型,還可以在送出前保存可核對的測試紀錄,確認哪些欄位被替換、摘要需要哪些內容。這是技術驗收建議,不是對個別業務的法規判定。

正式品質應同時觀察整份文件是否仍能完成任務。例如客服是否能理解問題經過、金融摘要是否保留計算理由,才能看出模型有沒有以大量刪除換取表面上的安全分數。

在合成測試與目標業務資料上都留下錯誤紀錄,才有條件評估下一步上線。

Nemotron PII Japan 常見問題與採用建議

這份開放資料支援的是測試與改良工作,正式使用仍需要自己的條件與驗收。

Nemotron PII Japan 包含真實病患或客戶資料嗎?

官方說明文件由合成人物、合成個人資訊和業務目錄組合,並非收集真實客戶或病患紀錄。合成也仍需要品質檢查,不能把生成方法當成任何輸出都必然無風險的保證。

可以直接拿來當固定考卷嗎?

公開資料沒有預先固定的訓練和測試切分。如果團隊已用其中內容微調,就不應再把相同內容的分數當成對新文件的能力證明,應另留未使用資料。

名字拆成姓與名,如何比較?

官方外部評分對相鄰或僅由特定空白分開的姓名片段做合併,再檢查位置與類別。地址則依重疊範圍處理,兩者規則不同,所以重現成績時也要保留前處理方法。

開放資料可以怎麼開始使用?

官方以單一 Parquet 檔提供資料,並標示 CC BY 4.0。Parquet 是方便程式讀取表格欄位的格式,使用時仍應保存來源、授權版本與自己的資料切分。

可以先挑一種文件,準備原文、應保留的業務內容和需要遮蔽的位置,再補一組無個資樣本。這樣較容易找出錯誤集中在哪類情況,也方便日後換模型重做比較。

我的建議是先讓每個錯誤能回到原文,而不是先追求整體高分。當漏找、誤刪與文件用途都有可查紀錄,資料集的開放價值才會變成可持續改良的流程。

先從一種文件建立可重做的檢查,再逐步增加領域與語言,比一次追求單一高分更有用。

延伸閱讀:決策模型怎麼做 LLM 評測?Hamel Husain 教你調門檻、比成本、讀分數

延伸閱讀:Hugging Face Decision Models 整合:AI 分類不用先寫一段話,機率又能信多少?

原始資料來源

Read more