Google 專利律師 AI 實驗：工作變好，三個月後能力也會變好嗎？
Google 專利律師 AI 實驗追蹤 133 名律師三個月，發現作品品質提高，離開 AI 的能力成長卻因年資而異。從研究設計、標準差與初階分化，理解團隊該如何衡量 AI 效率和人才培養。
Google 專利律師 AI 實驗帶來一個管理問題：員工交出的東西更好，是否代表他自己也學得更多？研究把這兩種成果分開測量，得到不同答案。
一名新人用 AI 修好草稿，主管可能看見更整齊的文字、更完整的段落，以及較少的等待。但下一次沒有工具時，他能否辨認問題，仍需要另外測試。
這項三個月實驗涵蓋十一家美國智慧財產律師事務所、一百三十三名專利律師。它觀察專業工作中的 AI 協助，也測試拿掉工具後的判斷。
Google Research 在 2026 年 10 月 7 日介紹結果，相關 NBER 工作論文在 9 月已有初版、10 月修訂。這是研究成果的公開解讀，並非當天推出一套新的法律產品。
有 AI 的律師在撰寫任務表現較好，資深者在不用 AI 的修稿任務也有進步。初階律師則沒有平均能力增益，個人的結果變得更分散。
我會把這份研究用來調整團隊訓練，而非決定新人一律禁用 AI。關鍵是把「可以交件」與「理解為何這樣寫」分成可觀察的目標。
要做這種判斷，先看研究如何把工作表現和專業能力拆開。
Google 專利律師 AI 實驗怎麼測？
研究把律師隨機分組，比較有 AI 輔助和暫時沒有 AI 的律師。隨機分派能減少「原本能力較好的人更常用工具」這類差異對結果的影響。
參與者來自十一家事務所，約三分之二取得工具，其餘作為對照組。兩組都接受工具訓練，對照組在實驗結束後才取得使用權。
工具是當時尚未公開的 Google Labs 專利草擬助手。研究測試的是這套特定系統和使用安排，不等於所有法律 AI、所有模型都會得到同樣結果。
研究在第十天和第九十天安排專利草擬任務，讓律師針對提供的發明資料工作。兩次材料不同，避免把熟悉同一題直接當成成長。
專利草稿不只需要通順。它還要把發明的技術內容轉成可以理解的法律描述，分辨保護範圍、文字依據，以及重要內容是否遺漏。
外部專家在不知道作品所屬組別的情況下評分，這稱為盲評。它降低評審因為知道作者用了 AI，而先抱持期待或偏見的可能。
草擬任務允許實驗組使用 AI，因此測到的是人與工具合在一起的產出。主管日常看到的交件品質，通常也更接近這個層次。
三個月後，所有律師另做一次不用 AI 的修稿任務。這次需要自己找出既有專利申請中的問題，並提出修改，藉此測量獨立判斷。
兩種任務用途不同，正是研究的重點。工具協助時寫得更好，可以是即時輔助的成果；工具拿走後仍做得更好，才更接近留下的能力。
修稿測的是「看出問題，也改對問題」
專利修稿涉及保護範圍和文字依據，不只是拼字和語句。初階工作者若把時間花在表面流暢，可能錯過影響整份申請的重要問題。
這個任務讓專家能觀察修改的優先順序。一個人知道哪裡不對，和他能寫出正確、足夠的改法，也可能是兩種不同程度的理解。
主管因此不能只問新人是否「看得出錯」。更具體的追問是：哪一段最需要改、原因是什麼，以及這個修改會影響哪些其他句子。
作品品質提高，數字卻不是百分比
實驗組的草擬品質在第十天高出對照組零點三四個標準差，第九十天高出零點三八個標準差。兩次結果都支持工具改善產出的方向。
標準差是資料分散程度的單位，讓不同評分能用共同尺度比較。零點三四個標準差，不能改寫成準確率提高百分之三十四。
它也不是每位律師都得到同樣幅度的改善。研究是在比較兩組的整體結果，個人的工作內容和使用方式仍會造成差異。
Google 的解讀以百分位位置幫助讀者理解，但百分位同樣不是交件正確率。轉述數字時，保留原本的統計單位比改成醒目的百分比更可靠。
時間節省也有明確範圍。第十天的任務中，使用 AI 的初階律師比對照組快約十八分鐘，對照組完成時間約一百二十四分鐘。
這表示特定任務可以縮短等待，不能推成「所有法律工作都快十八分鐘」。訪談、查證、與客戶溝通等工作，並沒有都由這項數字涵蓋。
作品更好又更快，足以讓團隊關注導入價值。但如果把這兩項指標直接當成員工能力，管理者會漏掉研究後面那場不用 AI 的測試。
這也會影響培訓安排。工具替新人補齊草稿，可能讓主管更少看到他原本卡住的地方，原本應該教的概念便藏在漂亮的交件裡。
離開 AI 之後，資深與初階結果不同
不用 AI 的修稿任務中，實驗組整體高出對照組零點三二個標準差。這份平均優勢主要集中在資深律師，而不是所有人共同進步。
研究把七年以上經驗歸為資深，未滿七年歸為初階。這是本次分析的分組界線，不能把第七年當成能力會突然改變的自然門檻。
資深律師的優勢約零點四五個標準差，初階律師則沒有平均增益。因此，整體數字必須和年資分組一起看，才不會抹平關鍵差異。
初階律師並非每個人都沒有進步。研究描述其分佈分岔：中間表現減少，較好的與較差的結果都增加，兩端相抵後沒有平均改善。
這個結果讓「AI 一定讓新人變強」難以成立，也讓「AI 一定讓新人退步」過於簡化。平均值看不到的，是不同人怎麼吸收工具提供的支援。
對主管來說，需要辨認哪些新人從工具得到理解，哪些人只是更順利交件。若只看平均交件速度，兩者很容易被放進同一個成功導入報告。
研究的質性觀察指出，一些初階律師把注意力放在低影響的文字修整，處理到關鍵權利項時已耗掉時間。對照組也出現這種情況。
因此不能把這個行為直接寫成 AI 造成能力退化。它也可能反映新人本來就不容易辨認問題的優先順序，工具沒有自動補上這個缺口。
看得出某段有問題，卻改不出更合適的寫法，同樣出現在研究觀察中。這提醒培訓不能停在挑錯，還要讓新人練習如何提出有依據的替代方案。
經驗可能幫助人把回答轉成學習
研究訪談中，資深律師較能把 AI 當成檢查邏輯的助手。他們會審視結構，要求解釋理由，再依自己的專業理解修改，而不只接受文字。
這提供了一種可能機制：已有的知識，讓律師有能力判斷工具哪裡值得借用。它是研究觀察支持的解讀，並不是每位資深者都必然如此的保證。
若新人缺少背景，就可能不知道某個回答為何好，也不知道錯在哪裡。工具把內容寫完整，仍不能自動讓他建立判斷答案的尺度。
團隊要怎麼同時保留效率與訓練？
建議先把一個工作任務拆成產出目標和學習目標。例如產出目標是完成草稿，學習目標是能說明最重要的修改及其理由。
兩種目標可以在同一次工作中觀察，不必把學習設計成另一套冗長報告。新人選出一段關鍵修改，解釋原文問題，比抄完整對話更有價值。
主管也可以要求比較兩個版本。讓新人指出哪個較符合需求、另一個在哪個條件下失效，會比回答「我喜歡第二個」更接近專業判斷。
這是從研究得到的訓練建議，並非本論文驗證過的課程配方。是否有效，需要團隊用自己的任務和評分標準追蹤。
對文字編輯來說，練習可以是改一段因果不清的敘述。對工程新人，則可以是解釋一個修補會影響哪些邊界條件，不能直接搬用專利分數。
每隔一段時間安排短小、無工具的代表性任務，可以看能力是否留下。任務應和日常工作接近，並讓人有足夠時間處理重要問題。
不使用工具的測試，不必等同懲罰或全面禁用。它的用途是找到教學缺口，讓主管知道哪些概念還需要示範、練習與回饋。
如果團隊只在最忙的交件時檢查學習，新人通常仍會選擇先完成工作。保留一段可回顧的時間，才有機會把工具產出的理由說清楚。
資深同事的示範尤其有用。他不只交出最後版本，也講出如何排除某個建議、為何先改結構，以及哪些資料讓判斷改變。
這能讓新人看到專業的選擇過程。AI 提供很多候選答案，人在候選之間做取捨的能力，仍需要以具體問題練習。
管理指標要看得見能力差距
導入評估可以保留速度和作品品質，並加入獨立修正能力。三項指標各自回答不同問題，不宜合成一個看似完整卻無法解釋的總分。
時間指標要固定任務範圍。起草一頁摘要和檢查一整份契約需要不同工作量，用同一個平均分鐘數比較，容易把任務變簡單誤當成效率提升。
品質評分則要讓評審盡量不知道使用了哪個工具。若主管先知道這是新系統的成果，期待可能影響他對同樣錯誤的容忍度。
獨立修正的任務還應看問題優先順序。新人全部改了標點，卻沒處理最重要的條件，就算修改數量很多，也不能視為充分理解。
當平均分數提高，仍要檢查個別分佈。這份研究的初階結果說明，少數人進步與少數人落後可能互相抵消，單一平均值不足以安排教學。
如果某位新人越來越能說明理由，卻速度尚未提升，可能正處於能力建立期。只以交件量排名，會讓這種進展看起來沒有價值。
相反地，交件速度很快，卻總在相似地方需要同事重改，也提示團隊應調整訓練。這種判斷需要反覆觀察，不能由一次作品貼標籤。
研究由 Google 資助，參與工具也來自 Google。NBER 頁面列出利益揭露，讀者應一起看研究設計與評分方式，而不是把品牌視為結論的保證。
這份實驗能回答到哪裡？
三個月足以觀察短期工作變化，卻不能證明長期職業成長。新人是否在半年或幾年後更能獨立工作，仍需要更長的追蹤。
樣本也聚焦專利律師，不能直接套到所有知識工作。職業的學習方式、任務結構與可查證程度不同，AI協助的效果也可能改變。
工具版本會更新，使用者會更熟悉操作，組織訓練也會調整。將這份研究當成固定不變的技術宿命，反而錯過了可以改善的工作安排。
它能較有力支持的判斷，是產出和學習值得分開測量。對於經理、教師與專業團隊，這個區分比爭論「AI好或不好」更容易轉成行動。
若你帶的是解題或教學團隊，也可以分開檢查答案和理由。學生得到正確結果後，能否說明每一步依據，會揭露不同的學習缺口。
讓團隊用自己的短練習討論這些缺口，比只談是否依賴 AI 更具體。下一次工作時，可以直接觀察同樣問題是否仍需別人代為修正。
延伸閱讀：AI 數學證明為何還需要人理解？從陶哲軒部落格討論，建立可靠解題教學流程
延伸閱讀：你可以外包工作，但你永遠無法外包學習
FAQ：Google 專利律師 AI 實驗常見問題
零點三八個標準差是品質提升百分之三十八嗎？
不是。標準差描述資料的分散程度，研究用它比較兩組評分差距。百分比、百分位和標準差是不同尺度，不能互換。
初階律師沒有平均進步，是否代表每位新人都退步？
研究描述的是結果分化，有較好的也有較差的表現。沒有平均增益，不等於每個人退步；管理者需要看個別變化與使用方法。
研究是否證明禁用 AI 才能學會專業？
研究並沒有比較所有訓練策略，也沒有提出全面禁用結論。它顯示工作品質提高和獨立能力成長不同，支持另外安排能力檢查與教學。
可以把專利律師結果直接套到程式、設計或教學嗎？
可以借用分開測量的思路，實際數字則不能直接搬過去。每個團隊應選自己的代表性任務、品質標準與學習目標，再觀察結果。
結語：別讓漂亮交件遮住需要教的地方
這份實驗顯示 AI 能改善專業產出，也提醒團隊平均效率無法說明每個人學到了什麼。值得採取的管理改變，是讓獨立判斷成為另一項可觀察的成果。
先選一個常見工作，保留交件時間和品質紀錄，再安排短小的獨立修正練習。把看見的缺口轉成具體回饋，才能讓工具效率和人才培養一起前進。
想追蹤 AI 研究如何影響工作與學習，歡迎免費訂閱 AI 郵報。
