Agent S4：不改模型權重，靠重新設計操作介面改善電腦代理

Agent S4 提醒我們，AI 操作電腦時做得慢、做不好，原因可能出在工具太難用。因為即使模型知道該改一整塊試算表，若只能一格一格點，仍得花很多步驟完成。

Simular 在 2026 年 10 月 21 日公布研究，並於 10 月 23 日透過官方 X 帳號介紹結果。它把改善重點放在操作介面，而讓執行任務的模型保持不變。

這裡的介面，指代理能發出哪些要求、又能收到哪些資訊。滑鼠點擊配截圖是一種，直接讀取一塊表格並一次寫入，則是另一種。

研究中，同一個 Qwen3.8-27B 模型的完整任務成功率，從固定介面的 5.56% 提高到 21.3%。這是特定評測與設定下的結果，仍有多數任務沒有全部完成。

因此這份研究適合拿來檢查團隊的工具設計：代理是否花太多時間繞過介面限制，以及能否透過更合適的動作，減少這些繞路。

要理解數字怎麼來，得先分清 Agent S4 與實際替使用者做事的代理，各自負責哪一部分。

Agent S4 改變的是哪些操作介面？

Agent S4 是研究其他代理如何工作的系統，會讀操作紀錄並改寫工具庫。依 Simular 官方研究文章，它本身不直接解使用者任務，而是改善任務代理可用的介面與使用知識。

這個分工很像觀察同事工作的方法。若同事反覆打開同一個檔案、捲動找某個函式，改善方式可以是提供搜尋函式的工具，讓他直接取得需要的內容。

因為工具一次能做的事情變得更合適，原本要經過很多畫面與點擊的步驟，就可能改成少量明確請求。模型不一定變聰明，但完成同一件事需要克服的操作障礙變少。

模型與工具庫如何分開？

官方說明中，任務代理的模型與執行框架維持固定，只有介面儲存庫改變。模型權重是訓練完成後的核心參數，這次並沒有靠重新訓練這些參數來取得改善。

儲存庫可以加入新的動作，也可以修改現有動作的說明。因此改善有時來自功能增加，有時則來自讓代理更清楚何時該用哪個工具，兩者都會影響實際操作。

以表格為例，代理可能已經能執行批次寫入，卻一直選擇逐格點擊。這時補上清楚的用法與適用條件，就可能比再新增一個功能更有幫助。

另一個例子是長時間影片輸出。若工具能啟動工作、持續監看並回報結果，代理就不用反覆截圖猜測進度，使用者也比較容易知道輸出究竟是否完成。

官方把演化後介面分成全系統、特定應用、跨應用與特定任務等類型。這些分類顯示，改善範圍可以從一個按鈕動作，延伸到一整段有結果檢查的程序。

為什麼研究不只累積現成技能？

現成技能通常是在既有工具上安排操作順序。如果代理原本只有點擊與輸入，技能再熟練，仍要使用這些動作。Agent S4 則允許工具庫增加原本不存在的操作能力。

這個差別會改變問題的解法。例如修改一份科學軟體專案，可以透過專屬命令直接改物件，再讀回變更，而不必用畫面座標去碰運氣。

但新增能力也要有可靠的回報。因為一次批次動作可能影響較多內容，若工具只說成功、沒有回傳實際值，代理仍可能誤以為工作完成，讓錯誤藏到最後。

延伸閱讀：AgentBug-Smith 是什麼？把 AI 代理框架錯誤變成可重現的測試

固定模型如何演化出更好的工具庫？

研究用一組工具庫持續產生新版本，並讓任務代理測試各版本。負責改寫的研究代理會觀察操作紀錄，推測代理在哪裡浪費步驟，再新增、刪除或調整介面。

這個過程包含從既有版本選父代、閱讀紀錄、產生新版本、執行評估，以及把新版本放回群體。新版本可以修改單一父代，也可以結合兩個版本的能力。

為什麼要保留多個版本？

保留群體，讓早期看起來普通的設計仍有機會與另一個版本結合。因為某項工具單獨出現時未必有效，但與另一套用法搭配後，可能剛好解決代理反覆卡住的問題。

官方列出的案例中，一個表現較好的工具庫，是由兩個早期版本交叉結合而來。這讓研究呈現的改善，不只是每一輪把上一版改一點，也包含不同設計路線的重組。

不過演化仍需要評估機制，否則工具越加越多未必更好。研究把訓練與驗證分開，讓新工具先在任務中使用，再用另一組驗證工作決定後續選擇。

官方說明，改寫工具的研究代理不會看見驗證題目、操作紀錄或分數，驗證分數只用來選擇後續發展的版本。因此研究設計嘗試避免把工具庫改成驗證題的答案表。

可以試跑程式，是否一定比較好？

研究另外比較有沒有提供實驗用虛擬機器。虛擬機器是一個可隔離試跑軟體的電腦環境，讓研究代理在寫介面時，先確認程式能否使用。

有試跑環境時，工具庫新增了更多介面，也拿到較高的部分得分。但完整任務成功率較好的版本，反而來自沒有這個環境的設定，所以不能只用一個指標概括所有差異。

這對團隊很實際。若目前痛點是幾乎做對、卻總漏掉最後一步，就應看完整任務成功。若是想擴大可處理範圍，也可以研究部分得分改善了哪些子工作。

因此結果比較應先說明目標，接著選對指標。把所有改善都寫成「成功率變高」，會掩蓋不同版本各自在什麼地方進步。

OSWorld V2 的 21.3% 與 1.10 美元代表什麼？

這組主要結果來自 OSWorld V2 的 108 個任務，衡量代理使用桌面應用完成工作的能力。官方同時公布完整成功、部分得分與每題成本，所以比較時可以看見不同取捨。

以下保留官方表格中的幾個關鍵設定，金額為每個任務的美元成本，屬研究當時使用的配置。

表格顯示，演化介面讓固定的開放模型明顯進步，也在完整成功這項指標高於兩個列出的商用模型設定。但它的部分得分仍低於 Opus 4.8，所以結論應保留指標與配置。

三點八倍改善，起點是多少？

21.30 除以 5.56 約為 3.8，所以官方說相較同模型固定介面提高約三點八倍。這是在較低起點上的改善，並不表示代理已能完成大部分日常工作。

對使用者而言，21.3% 更值得轉成具體問題：這些成功的題目，與自己的任務相不相似？如果應用程式與工作內容差很多，評測進步只能當作研究訊號，不能直接當作部署保證。

每題 1.10 美元也要保留範圍。它反映表格中的任務執行成本，不能解讀成整個工具演化、開發與部署過程只需要這些錢，否則會低估建立系統的投入。

而不同模型的成本與成功率，會受模型版本、計價及設定影響。這份研究適合比較論文使用的條件，若團隊要做採購或遷移，仍應用同一批自己的任務重新衡量。

為什麼不能只追求最低成本？

假設代理雖然單次便宜，但失敗後需要工程師花很多時間恢復，整個流程未必省錢。因此團隊應把執行費用與人工處理時間一起記錄，才知道哪些任務適合交給代理。

這個做法也能避免誤解部分得分。代理可能完成大多數步驟，卻把成果存到錯位置。對評測來說可以拿部分分數，對等著交付文件的同事來說，卻仍是未完成。

科學軟體測試透露哪些適用限制？

官方另外在 ScienceBoard 進行新的演化，這組評測包含六個科學應用與 169 個任務。演化工具庫完成 99 題，原始工具庫完成 93 題，顯示方法可以延伸到另一類軟體。

這些應用涵蓋天文、分子視覺化、地理分析、代數、定理證明與排版。因為一般桌面工具未必懂它們的物件結構，專屬操作介面在這裡可能比通用點擊更有幫助。

例如科學軟體常有自己的命令或模組，工具若能直接呼叫並檢查結果，代理就不必先在畫面上尋找每個選單。這也解釋為什麼研究要把介面當成獨立的改善方向。

但兩組評測的提升幅度不同，所以不能把 OSWorld 的倍數直接套到科學應用。不同軟體有不同的工具空間，新增介面是否有用，仍要看原本最常出錯的步驟。

對一般團隊而言，可以先保存一批失敗操作紀錄，找出反覆出現的障礙。例如資料讀取太零碎、批次動作缺乏確認，或長工作沒有回報，再針對最常見的一項設計工具。

延伸閱讀：ActiveSaddler 是什麼？讓 AI 代理練對題目，終端任務成功率提高 7.5 個百分點

科學應用的改善，如何回到實際工作？

官方列出的演化工具，包含分子視覺化軟體的命令介面、地理分析軟體中可在目前工作階段執行的模組，以及一次計算多個式子的代數工具。這些例子都把操作對準應用本身的資料結構。

因為科學軟體的畫面只是底層物件的一種呈現，直接操作適當命令，有機會減少從截圖推測狀態的誤差。但工具仍要確認物件名稱、選取範圍與結果，否則更快的動作也可能更快改錯地方。

研究在這組測試中使用四十八個合成訓練任務，讓工具庫從相關經驗學習。合成任務是另外產生的練習工作，官方說明會檢查與評測是否重疊，因此不能把這些練習直接當成測試答案。

團隊若參考這個方法，也應保留一組沒有參與修改的任務。因為只在反覆看過的案例進步，可能只是替個案加特例。在新的同類工作仍能改善，才比較接近可重用的工具能力。

最後還要記錄工具新增後的失敗類型。如果操作更快，卻增加難以恢復的變更，整體工作品質未必提高。把可恢復性與完成率放在同一份紀錄，能幫助團隊決定哪些能力應保留。

團隊可以先比較操作紀錄，再決定是否改工具

如果代理常在同樣的畫面操作上繞路，Agent S4 的研究值得參考。因為它顯示，改善可用動作與說明，本身就能影響固定模型的表現，團隊不必把所有問題都歸因於模型能力。

實際開始時，適合先選一項有明確失敗紀錄的工作，替換一個介面，再用同一批任務重跑。把完成率、恢復時間與成本放在一起看，才容易判斷改善是否值得保留。

你可以從現有代理最常失敗的一段流程開始整理，也可免費訂閱 AI 郵報，追蹤開放代理研究與可重現的工具設計案例。

FAQ：Agent S4 常見問題

Agent S4 是新的大型語言模型嗎？

它是研究與演化代理操作介面的系統，主要結果使用固定的 Qwen3.8-27B 模型，並沒有靠更新模型權重取得改善。

21.3% 代表它全面超越商用模型嗎？

這是 OSWorld V2 特定配置的完整成功率。部分得分、其他任務與不同模型版本的結果，不能由這個數字直接推定。

1.10 美元包含全部開發費用嗎？

官方表格列的是每題任務成本。整體演化、工程與部署成本需要另外計算。

資料來源

• Simular Agent S4 官方研究文章。
• Agent S 原始碼儲存庫。
• Simular 官方 X 介紹。