FrontierEE Bench:AI 接上真實電路實驗台,36.7% 成功率揭示什麼?
FrontierEE Bench 讓五個 AI 模型操作真實電路儀器,最高 11/30、36.7%。解析人工接線、測試區間、API 成本、實體狀態與研發團隊可先驗收的工作。
FrontierEE Bench 要測的落差,是電路題答對了,接上真實設備卻未必能把問題查清楚。溫度會隨時間改變,探棒可能影響量測,前一次實驗也會留下熱或電荷,因此實體工程需要的不只是套公式。
Evident Machines 在 2026 年 11 月 17 日公布 FrontierEE Bench,讓五個前沿模型操作實驗儀器並判斷下一步測試。它把評估從文字與模擬,推向會改變狀態的真實硬體。
官方最高成績為三十次測試中的十一次成功,也就是 36.7%。這個分母來自十個任務各跑三次,不能理解成所有電機工程問題的成功率,更不能直接拿來推估現場設備故障風險。
測試也保留人的角色:模型可提出量測與接線要求,但需要人工操作員移動探棒、換零件或重新接線。這是一套人機配合的實驗流程,並不是機器人已自行完成所有實體工作。
對研發與教育團隊而言,這份評測的價值,是把失敗過程留下來。模型何時漏看儀器讀值、何時過早下結論,比只知道哪個模型領先,更有助於安排人類應介入的位置。
要判斷這套成績能幫上什麼忙,得先看任務如何讓實體狀態影響結果。本文核對官方公開方法與結果,沒有重跑實驗,也不把基準測試當作設備安全認證。
十個任務,從紙上電路走到實體狀態
FrontierEE Bench 把混合訊號、電源與機電問題放在真實實驗台上。
官方任務頁列出的情境,不只是給一張電路圖問答案。其中一題要求判斷二極體的熱狀態,需要分清表面量到的溫度,和元件內部真正承受的溫度,不能把兩者當成同一個數字。
另一題涉及液位量測,泡沫可能讓感測器判斷與實際水位不同。模型若只依理想狀態解釋訊號,就可能忽略材料與環境對讀值造成的影響,因此需要安排測試來區分可能原因。
齒輪馬達任務則需要透過實驗推估特性。線圈、電刷、發熱與減速機構彼此相關,模型不能只查一個相似產品的參數,就當成眼前硬體的真實規格。
這些題目的共同點,是資訊需要透過操作取得。模型必須決定先量什麼、等待多久、是否改變一個條件,再根據新讀值修正想法。只會重述教科書原理,還不足以完成這段過程。
不過十個任務仍然是有限樣本。它涵蓋一些混合訊號、電源、機電與儀器問題,不能代表所有電機領域,也沒有測完每一種設備、材料與現場限制。
這個範圍對讀者很重要。如果團隊主要工作是電路設計審查,可以參考模型是否會分清量測假設。如果需要現場維修,則還得另測接線、零件取得與人員作業,不能只搬用公開總分。
題目選擇確定後,模型怎麼取得讀值與請人操作,就成為解讀成績的關鍵。

模型下指令、操作員動手,各自負責什麼
模型透過實驗台介面控制儀器,也會向人工操作員提出需要實際接觸設備的要求。
模型透過命令列形式的實驗台介面取得儀器與相機資訊,提出下一步動作。命令列可以理解成以文字指令操作設備的入口,讓每次要求與回應都能留下紀錄。
當任務需要移動探棒、重新接線或更換零件時,模型會提出操作要求,由現場人員執行。這個分工把實體操作接進評估,同時也表示測到的是有操作員協助的模型工作能力。
如果忽略人工角色,就容易高估自動化程度。模型知道應該量某個端點,和它能安全、準確地把探棒放上去,是不同能力。這次研究主要讓前者受到檢查,沒有證明後者已由機械手完成。
官方保留指令、相片、量測與操作員紀錄,並讓測試在既定設備限制內進行。這使外界較有機會回查模型是在哪一步判斷錯誤,而不是只看到成功或失敗。
驗證器使用受保護的實驗台紀錄與接受條件判定結果,而不是讓另一個語言模型單憑說法評分。這有助於減少漂亮解釋掩蓋錯誤的問題,但驗證條件本身仍需符合原本的工程目的。
因此,企業借用這套方法時,也應保留誰動了什麼、何時量到什麼,以及模型當時看見哪些資料。只留下最後答案,會讓人工協助與模型判斷混在一起,難以知道真正省下了哪一段工作。
保留操作分工,才能知道成功來自哪些能力,以及哪一段仍需要人。
36.7% 的分母、費用與不確定性
官方最高成績是十一個成功試次除以三十個試次,並不是大規模現場部署的統計。
評測比較五個模型,每個模型面對十個任務,各執行三次,因此每個模型三十個試次,總共一百五十個。最高成績為 Fable 5.2 的十一個成功試次,占 36.7%。
官方表格另列 Astra 為九次成功、Opus 為九次,Carbon 為八次,Sol 為七次。三次重複讓同一任務的表現變動有機會出現,但規模仍小,不宜把些微分數差距視為穩定結論。
研究附上的百分之九十五可信區間有重疊。區間是描述估計仍有多大不確定性的方式,因此這裡不能簡化成第一名已在統計上確定勝過其餘所有模型。
本次查詢官網表格列 Fable 平均每試次 API 費用約四點四四美元,整體試次平均約五十一分鐘。API 費用只是呼叫服務的一部分,不包含把設備、人工操作與實驗空間都換算成完整成本。
發布時的短動畫排行榜與後續官網表格,部分費用數字不同。本文採本次官網快照,不把兩版本混成一筆資料。若讀者後續引用,也應把查詢時間與表格版本一起保留。
官方把這類實體任務與模擬情境比較,指出真實環境的落差。這能提示研究方向,但不能推成任何新模型在所有實驗室都只有相同成功率,因為設備、任務與操作員安排都可能改變結果。
當不同模型的區間重疊,挑選下一輪測試對象比宣告誰永遠領先更合理。
失敗常出在實驗判斷,而非缺少一條公式
真實硬體會留下前一次操作的影響,模型必須判斷讀值與改動之間的因果。
研究觀察到的問題,包括還沒隔離原因就同時改動多個變數,以及把前一次加熱或充放電留下的狀態當成新的獨立觀察。這些失誤會讓後續推論建立在錯誤的比較上。
例如元件剛被加熱,再換一個測量條件,讀值可能同時受到餘熱影響。若模型把變化全部歸因於新設定,即使計算沒有出錯,對原因的解釋仍然可能錯。
另一類問題是對儀器與材料理解不足。讀值並非直接等於想知道的物理量,感測位置、量測範圍與接觸方式都會影響解讀,因此實驗計畫需要把這些條件寫出來。
官方表示,沒有試次單純因安全問題而失敗。這項說明有助於理解失敗重點,但不表示模型已獲任何設備安全認證,也不能把指定操作限制以外的工作交給它自行嘗試。
研究提供者同時發展實體實驗、資料與評估相關業務。公開方法與紀錄讓外界能提出問題,仍不等於結果已由與廠商無關的團隊完整重現,採用者應保留這個證據層級。
這些失敗可轉成具體檢查點,例如每次改動只處理一項假設、等狀態穩定再讀值,或當資料與預期矛盾時先重測。這些是依研究限制提出的工作建議,不是本次已量化驗證的改善比例。
這些失敗軌跡能轉成檢查點,讓團隊知道何時要重新量測或請工程師覆核。
研發團隊可先測哪一段工作
內部試用可以從低風險的量測整理與實驗計畫開始,先固定設備及完成條件。
第一個適合試用的範圍,可以是把既有量測紀錄整理成實驗計畫,要求模型指出缺少哪些資料。這時模型先提出建議,工程師仍掌握實際操作與是否執行的決定。
也可以刻意留下資訊不足的案例,觀察模型是否知道先問問題。若所有測試都事先給足資料,就看不到它會不會把未知規格當成既定條件,正式工作中遇到缺漏時也較難預測反應。
每輪測試應先確認設備回到相同起點,例如溫度與供電狀態。這不是為了讓結果看起來漂亮,而是讓後續能比較同一條件下不同模型的判斷,避免前一個試次留下的變化干擾下一個結果。
輸入應包含設備型號、量程、現有接線、環境與先前動作。若缺少資訊,完成條件可以要求模型明確提出問題,而不是用一個常見規格填補眼前未知的硬體特性。
驗收時,可把模型的預期與量測結果並排。假如它預測某種變化,應說明要觀察什麼、何時觀察,以及出現相反結果時下一步如何處理,讓建議有機會被否證。
也要保留人工介入量。若工程師需要不斷改寫指令或補上關鍵物理知識,模型看似完成任務,實際上可能只是替人整理文字。把這些介入記下來,才能評估節省是否成立。
進一步擴大時,再另外檢查工具權限與設備保護條件。實驗室可以讓不同人負責資料、操作與判定,避免同一個模型既提出動作,又單方面宣布自己的結果合格。
這種試用不必以取代工程師為起點。先找出模型在哪些量測整理與假設檢查上有幫助,再看哪類失敗仍需人處理,會比直接追求全自動實驗台更容易做出可驗收的進展。
把模型建議接回讀值、操作與驗收,才看得出它究竟減少了哪一部分工作。
FrontierEE Bench 常見問題
FrontierEE Bench 的 AI 會自己接線嗎?
這次流程由模型安排實驗並操作可連線儀器,移動探棒、重新接線與換零件等動作由人工操作員完成,不能當作全自動機器人展示。
36.7% 是所有工程工作的成功率嗎?
不是,它是這套十個任務、每題三次執行下的十一比三十。任務範圍、設備與模型設定都限制適用範圍。
每次 API 費用能當完整實驗成本嗎?
不能。它沒有包含全部人工、設備與空間成本。團隊還需記錄準備、操作與覆核時間,才能估計自己的投入。
把實驗過程留下來,才知道 AI 幫上什麼忙
FrontierEE Bench 的主要貢獻,是把模型的答案接到會改變狀態的實體設備,再留下可回查的測試過程。最高成績提供研究起點,卻不能省去分母與操作條件。
研發團隊可以先挑一段低風險的量測整理工作,讓模型提出可檢查的假設,再由工程師掌握操作與驗收。只要介入原因能被記錄,就能逐步找出適合擴大的範圍。
延伸閱讀:BioBasicsBench 發表,100 個濕實驗任務如何測出 AI 的科學判斷落差?
延伸閱讀:BenchBench:文件只歪幾度,為什麼解析器排行榜就換人?