AI 能力為何有人覺得普通、有人覺得驚人？從 Karpathy 熱文建立工作實測方法

AI 能力的落差，常出現在同一間辦公室。有人用聊天工具改信件，覺得省了一點時間。有人把整個專案交給代理，覺得工作方式已經改變。

這兩種經驗可以同時成立，因為他們交付的任務、使用的工具與判斷結果的方式並不相同。

Karpathy 在 X 重新討論這個落差，提醒大家別把一次聊天經驗當成整個領域的能力上限。

貼文對不同工具使用者規模的描述只是粗估，不能當成人口調查。對一般工作者更有用的，是從貼文抽出一個問題：自己究竟測過哪一類工作？

若每次只問一個能用一段話回答的問題，就很難知道工具能否整理檔案、修改成品，或完成需要多次檢查的任務。

我建議把「覺得 AI 很強」改成一張工作實測表。先選真實任務，保留原始資料，再用同一個完成標準比較結果。

AI 能力怎麼比較？先把聊天與交付分開

聊天工具能回答問題，代理則可能讀取資料、操作工具並留下成品。這裡的代理，就是能為了一個任務接續執行多個步驟的軟體助理。

例如請工具解釋行銷漏斗，主要是在看它的表達能力。請它依據成交紀錄算出各階段轉換率，則還需要正確讀檔、計算與解釋。

再往前一步，若要求把分析放進既有簡報，任務還增加了版面修改、數字一致與儲存驗證。回答看起來漂亮，不能代替這些工作。

比較之前，先把自己的要求寫成一句可檢查的交付物。可以是「產出有公式的試算表」，也可以是「修改三頁簡報並保留原本圖片」。

「幫我分析一下」很難驗收，因為一篇流暢文字就可能讓人誤以為工作完成。交付物越具體，越能看清工具卡在哪一步。

為什麼免費聊天經驗不能直接推論代理表現？

不同產品可能使用不同模型、工具與限制。即使名字相似，能否讀取整個資料夾、持續工作或執行檢查，也可能有差別。

因此實測表要記下產品名稱、模型顯示名稱、查詢日期與可用工具。若某次不能讀檔，就不要拿它和已連線檔案的版本比較。

付費方案也不能直接當成效果保證。只有任務確實需要那個能力，而且新增費用小於省下的整理時間，升級才有實際理由。

選擇工具之前，先挑出值得測試的任務，會比先追求最高規格更容易得到有用答案。

挑一個有原始答案、又會重複發生的工作

第一個練習適合從低風險、可回復、每週都會出現的工作開始。例如整理公開活動名單、比較兩版檔案，或把自己的素材分類。

如果任務涉及付款、對外寄信或覆寫重要資料，驗收難度會增加。新手可以先讓工具產出候選結果，操作範圍留在副本裡。

「有原始答案」不一定代表事先知道全文，而是有可靠的比對依據。名單有原始表格，摘要有錄音或逐字稿，計算有原始欄位。

假設要整理三十筆詢問紀錄，可以先手動標出五筆樣本。這五筆能幫你確認工具是否理解分類，也能避免一路做完才發現定義不同。

分類規則要寫清楚。同一位客戶重複詢問算一筆還是兩筆、缺少日期怎麼處理、取消訂單是否仍計入，都會改變結果。

這些定義看似瑣碎，卻是人類日常判斷中最容易省略的部分。把它們交代清楚，測到的才是執行能力，而不是猜中你心意的機率。

練習任務的選擇表

表中的工作都有能回看的原始資料。若結果出錯，能定位到具體筆數或段落，就有辦法改進下一輪指令。

把任務寫成代理能接續執行的要求

清楚指令要同時交代目標、資料與範圍。只寫「你是專業分析師」不會告訴工具哪一份資料才算權威版本。

可以用這段作為練習：「依資料夾中的原始表格，整理本週詢問類別。先確認欄位與筆數，再提出分類規則，完成五筆樣本後才處理其餘資料。」

接著補上交付要求：「輸出表格保留原始編號，新增分類、理由與來源欄位。缺少資訊就列為資料不足，別補猜日期或金額。」

最後寫出限制：「只處理副本，不覆寫原表，不寄送任何訊息。若來源內容互相矛盾，將衝突列成清單供我判斷。」

這段示例不是神奇提示詞，而是在降低任務中的歧義。每加一項規則，都應對應到可能影響結果的一個決定。

Claude Code 官方實務建議 也強調提供可驗證的要求。對新手來說，先讓工具說明它會怎麼驗收，往往比請它表現得更專業有用。

當工具回報已完成，請它列出產出檔案與檢查結果。若只有「處理好了」四個字，仍不足以知道是否真的存下成品。

評估結果時，把品質、時間與返工一起算

第一個指標是正確性。抽查時要回到原始資料，確認筆數、數值、來源連結與分類理由，別只讀摘要是否通順。

第二個指標是完整性。漏掉三筆紀錄的結果，即使其餘每筆都正確，也不能算完成原本的三十筆任務。

第三個指標是返工量。記下自己花了多少時間補來源、改格式或重算數字，才能知道省下的工作是否只是移到驗收階段。

等待時間與人的操作時間可以分開記。工具跑十分鐘而你只需要檢查兩分鐘，和你得盯著它十分鐘，對日常工作的影響不同。

如果要比較兩個工具，使用相同的原始資料與規則。不要在第二次悄悄加上第一次學到的關鍵指令，然後把提升全部歸功於模型。

比較版本也要保留。修改後變好的結果，需要知道是規則更清楚、工具改變，還是只是這一次生成碰巧較好。

一張實測紀錄至少要留下什麼？

可以為每次練習新增一列，填入任務、模型、輸入版本、輸出檔案、漏項數、錯誤數、人工修正分鐘與是否能重跑。

如果結果有十項分類，可以記錄其中幾項被接受、幾項要改。這樣的記錄比「比上次好很多」更容易在下週派上用場。

同樣的錯誤連續出現時，先檢查任務定義。例如工具一再混用含稅與未稅金額，可能是資料欄位缺少說明，不必立刻更換模型。

找得到原因，才有辦法知道該補資料、增加檢查，還是把那一段留給人工處理。

從一次成功走向可重複使用的流程

成功一次後，先用另一批資料重跑。新的一週通常會多出空白欄位、不同命名或例外專案，這些才會考驗流程是否穩定。

若第二批資料失敗，不用把整套方法丟掉。先找出哪一種輸入改變，將處理方式加到規則，再對受影響的例子重做。

規則也可能互相衝突。例如要求「所有欄位必填」，又要求「缺資料不能猜」，就需要提供資料不足的填法，讓工具有合法的出口。

把成功的指令、樣本與驗收表放在同一個工作資料夾，下一次就能沿用。個人經驗開始變成團隊可以理解的工作方式。

對主管而言，導入成效應看已接受的成品，而不是每天生成多少字。若沒有減少錯誤或人工整理量，增加使用次數也未必有價值。

當工作量變大，再考慮自動化。先證明結果可以穩定重現，才值得接上排程、資料庫或其他系統。

範例：一份詢問名單怎麼判定可以交付？

假設你要把三十筆課程詢問整理成追蹤表。交付條件可以寫成每筆保留原編號，新增問題類別、下一步與來源欄，不能自動補入缺少的聯絡資料。

這是示範驗收設計，並非已執行的測試。它的用意是讓讀者看到，抽象的「整理名單」如何轉成幾個能逐筆查核的條件。

第一筆同時詢問價格與上課時間，就需要允許複數分類。若規則限定每人只能選一類，工具即使完整照做，也會造成另一個需求被隱藏。

第二筆只寫「想了解」，不能直接判為購買意願高。合理結果是標為資訊不足，並建議追問使用情境。猜測越像事實，後續溝通越容易走偏。

第三筆資料重複出現，應保留兩筆原編號並註記疑似重複。先交由人確認，再決定合併，才能避免把不同人的相似留言當成同一位客戶。

第四筆缺少日期，表格就應顯示缺少日期。代理若從附近列推測日期，會讓資料看起來更整齊，卻破壞了你之後判斷回覆時效的依據。

第五筆明確要求不要再聯絡，下一步就不能是推播優惠。這種例外最好在規則中單獨寫明，也納入樣本，因為平均正確率很容易掩蓋它。

檢查完成後，把錯誤分成資料遺失、規則不清與工具未遵守三類。資料遺失要回原檔，規則不清要修改說明，未遵守則需要重新執行或更換方法。

修正原因不同，下一輪的做法也應不同。若一律加上「請更仔細」，你既不知道改善了什麼，也無法判斷同樣問題會不會再出現。

最後找一位沒有參與整理的人，依照原編號抽查五筆。只要他能找到來源、理解分類並指出缺漏，這份表格才具備交接價值。

當正確性穩定後，再測完成時間與返工時間。速度應包含準備資料、回覆追問和人工修正，這樣算出來的節省才接近真實工作。

常見問題：怎麼判斷 AI 能力符合自己的工作？

必須會寫程式，才能做這種實測嗎？

不用。名單整理、檔案差異與報表檢查都能從既有資料開始。重點是能描述成品，並指出哪些原始資料可以用來比對。

看過熱門示範，就可以相信同樣任務一定成功嗎？

示範只能證明那次展示的結果。資料版本、工具權限與修改次數可能不同，仍應拿自己的副本做一個範圍明確的練習。

什麼情況適合升級付費方案？

當現有工具明確卡在資料量、可用工具或工作時長，而且較高方案確實提供所需功能時，再以同一任務比較。先測成品，再決定費用。

先完成一張自己的工作實測表

Karpathy 的討論讓人看見經驗差距，但別人的驚訝不能替你決定工具是否適合。可採用的答案，應來自自己能回看來源的工作成果。

今天就挑一項每週重複的工作，準備副本、五筆樣本與一張驗收表。完成兩輪之後，再決定哪一段交給工具、哪一段由你掌握。

延伸閱讀：Karpathy 推薦 ASD-STE100：讓 AI 回答更好懂的 4 種方法與提示詞

延伸閱讀：Harness Engineering 是什麼？從 Karpathy 舊影片被重新包裝，看懂 AI Agent 真正的工程重點

資料來源

本文產品與方法資訊依 第一手來源 與 官方補充文件 整理，功能與條款查核日期為 2026 年 10 月 12 日。討論線索來自 X 原始貼文，操作案例為建議練習流程，未宣稱已替讀者完成實測。