OpenTTD-Bench 公布:AI 經營運輸公司,三小時長任務為何仍輸規則程式?

OpenTTD-Bench測AI代理在即時運輸遊戲的長期經營。解析累計利潤、規則基準、三個種子、時鐘放慢實驗,以及遊戲結果如何支持有限研究判斷。

Share
OpenTTD-Bench官方示意圖並列煤礦鐵路遊戲畫面與Opus5.5推理及工具呼叫
Sophia Xu官方OpenTTD-Bench示意圖,並列遊戲與簡化工具呼叫;原圖的列車到站為演示編排,不當作完整原始實驗重播。 圖片來源:官方原文。

AI 替運輸公司規畫一條鐵路,還不等於能把公司經營好。乘客、貨物與對手持續變動,路線建完之後仍要監控和調整。

研究者 Sophia Xu 在 2026 年 10 月 29 日公布 OpenTTD-Bench,讓前沿語言代理在運輸模擬遊戲裡競爭,以累計營運利潤為目標。這是研究公開,不代表遊戲或專案當天才開始開發。

任務在實際時間裡持續進行,代理思考時世界不會停止。它必須分配資金、興建路線並追蹤既有服務,而非只回答一次最佳解。

作者認為 GPT-6.1 Sol 與 GPT-6 Astra 已明顯進步,但仍落後手寫規則基準。結果也受代理框架、時間與介面條件影響,不能只給模型排通用名次。

研究長任務與工具使用的人,可以用它觀察決策如何累積。要推論真實企業收益的人,則需要另外的工作資料與驗證。

先看遊戲如何定義工作與成果,才能理解這場約三小時比較測的是什麼。

OpenTTD-Bench 讓 AI 做哪些持續經營工作?

代理要把供需判斷變成路線,再用有限資金維持運輸。依 作者研究頁,測試使用開源商業模擬遊戲 OpenTTD,讓不同系統經營彼此競爭的運輸公司。

這裡的代理是能使用工具、執行程式並接續工作的語言模型系統。它需要興建與維護公車和鐵路運輸,回應乘客、貨物流量與競爭,而不只是向人提供經營建議。

建好路線,只是經營的一個階段

要安排運輸,系統先看供應與需求、兩地距離,以及競爭情況,再決定把資金放到哪裡。修建時還有地形、道路、車站和軌道,之後則有車輛、班表與號誌。

這些決定彼此相連。選了一條看似有需求的路線,如果建設成本太高或列車無法順利通行,前面的分析不會自動變成收益,代理仍得處理後面的執行結果。

作者把目標設成一段時間內的累計營運利潤,而非只看一次行動有沒有成功。這讓先前投資如何影響後續收入成為評估的一部分,也需要持續觀察已經開始營運的路線。

例如某條路線開始運作之後,需求與對手可能改變,代理若只繼續興建新線,便可能漏掉原有路線的問題。這是工作設計要求的持續管理,不代表本文已逐局重跑遊戲。

研究在十月二十九日正式介紹,程式庫建立時間則更早。本文報導的是這次評測與研究公開,不把它寫成 OpenTTD 當天才問世,或專案當天才開始開發。

工作會持續變化,因此代理需要能反覆觀察和執行的介面。

OpenTTD-Bench官方示意圖並列煤礦鐵路遊戲畫面與Opus5.5推理及工具呼叫
Sophia Xu官方OpenTTD-Bench示意圖,並列遊戲與簡化工具呼叫;原圖的列車到站為演示編排,不當作完整原始實驗重播。 圖片來源:官方原文。
OpenTTD-Bench 作者以火車到站與簡化推理工具呼叫製作研究介紹示意;不是完整原始實驗重播。 來源:官方原文。

Python 工具與子代理,如何跟上不停走的遊戲?

程式介面讓代理能查詢狀態、建立工具與監控事件,不必每步用文字重新整理。作者提供 Python 用戶端,讓系統以程式取得可見資料,並對自己公司採取允許的行動。

Python 是本研究使用的程式語言,用戶端則把遊戲操作整理成可呼叫的方法。代理可以據此寫路徑搜尋或財務整理工具,把反覆要做的工作保存成程式。

反覆工作,為何需要可重用工具?

如果每次都從零找地點、估距離與查車輛,遊戲仍在往前走,前面花掉的時間無法拿回。把常用步驟寫成工具,便有機會讓後續觀察與行動更快接上。

研究也允許代理依條件監聽事件,使用互動式程式環境除錯,或讓子代理分工。子代理是額外執行特定工作的 AI 流程,可用來調查或持續監控,但整體成績仍需回到主公司的成果。

這種設計測的不只是模型能想出多少策略,還包括它能否組織自己的工具。若工具寫錯、沒有追蹤執行失敗,更多呼叫也不會自然帶來更好的經營。

能使用程式,不等於能看見所有資料

作者為每個語言代理安排不同系統使用者,透過授權的 HTTP 呼叫與遊戲伺服器互動。HTTP 是程式和伺服器交換要求的通訊方式,授權則限定這個席位可取得與執行的範圍。

代理不能直接讀取評分器或使用遊戲原生控制來繞過介面。這讓「在允許資訊下經營」成為任務前提,而非讓模型任意查看整個測試系統。

各系統收到相同初始任務說明,作者未修改操作框架原有的系統提示。操作框架是模型周圍的程式執行、工具與工作流程安排,因此相同任務說明不代表不同框架的所有細節完全一致。

具備操作入口之後,結果仍要回到實際獲利和相同實驗條件。

三個種子的結果,為何還是輸給規則程式?

作者的主要比較顯示前沿代理進步,預寫好的專用策略仍有優勢。規則基準使用 AAAHogEx,這是遊戲社群的專用符號程式,按照人工寫好的策略處理運輸工作。

這種程式與語言代理的準備不同。它已具有針對遊戲設計的判斷與輔助功能,語言代理則需要在有限時間裡理解環境、寫工具並投入營運,不能把差距全解釋成一般推理能力。

三場平均,還要看同場有誰

主要圖表每條曲線來自三個已完成回合,使用不同種子。種子決定環境的起始配置,換種子能提供不同場景,但三場仍是有限樣本,不能直接推成所有地圖的穩定排序。

每場共有四個競爭席位,語言代理與兩個規則基準同場。規則基準先把同一場的兩個席位平均,再把三場等權平均,不能把它誤讀成只有單一基準公司的一次最好表現。

原作者總結截至十月底,Sol 與 Astra 在語言代理中展現進步,但仍未超過規則基準。這是該研究條件下的判斷,本文沒有另算未公開的利潤增幅或跨領域名次。

模型隨時間進步,不全是同一種設定

公開程式庫 將主要比較、慢時鐘和 GPT 模型歷史比較列成不同設定。主要比較包含 Opus 5.5、Astra 與基準,歷史曲線則有不同日期、框架與版本。

因此,不能把所有曲線當成只替換模型名稱的同一次受控實驗。若要討論進步來源,還要回看每條曲線的執行設定,否則框架與工具改變也可能被算成模型本身的提升。

這不會讓歷史結果失去用途。它仍能呈現完整系統在當時做到了什麼,只是閱讀時應保留版本,讓後續研究能知道改良發生在哪裡。

若懷疑差異來自思考時間,就需要另一種時鐘設定來對照。

時鐘放慢到 0.25 倍,八小時能回答多少問題?

較慢遊戲給代理更多實際思考時間,但這次只有一個種子,不能作普遍結論。原設定約以〇點七五倍速度執行,十年遊戲時間約花三小時,慢時鐘則約八小時。

慢速設定為〇點二五倍,沿用種子一〇一,讓同一類工作有更多現實時間可用。遊戲時間和實際時間不同,速度放慢改變的是環境前進與模型執行之間的比例。

更有時間,仍不代表每個決定都會更好

假設代理需要先寫一個財務工具,再判斷新路線,較慢時鐘可能讓前期準備不那麼容易落後競爭。但如果它選錯了指標,額外時間也可能繼續花在同一個錯誤方向。

這個假設說明為何需要看操作紀錄,而非只把時鐘倍率換成能力倍率。放慢到原來三分之一,並沒有因此證明代理的推理品質或最終利潤會固定增加三倍。

此外,單一種子可能特別適合某種策略,也可能遇到特定阻礙。沒有更多回合,就不能把這一場結果推成所有模型、所有配置都會得到相同變化。

對研究者而言,這是一個用來追查時間壓力的對照方向。下一步若要確認穩定性,仍需要相同條件下更多場景與紀錄,而非只多展示一次成功路線。

時間以外,基準已備妥工具與介面限制也會影響結果。

沒有預備階段、介面不同,哪些比較要保留?

基準與語言代理從不同的準備程度出發,所以勝負不能全算成模型推理能力。作者也承認時間壓力可能有利於已寫好輔助程式的規則基準。

研究提出可增加準備階段,先給代理另一張不洩漏正式測試資訊的訓練地圖,讓它建立工具。但原實驗沒有執行這個安排,因此不能把可能改善寫成已量到的成果。

同場競爭,不等於介面完全對稱

語言代理的批次查詢最多一百個要求,伺服器約每秒限制一百二十個要求。規則基準沒有這兩項相同限制,但仍受到遊戲引擎約每秒七個建設命令的限制。

查詢要求和建設命令是不同操作,不能直接拿兩個每秒數字當成相同單位的效能比較。這些條件的用途,是讓讀者知道各系統可以怎麼行動,以及哪裡可能受到約束。

規則基準擅長特定遊戲,不表示它能直接搬去處理其他長任務。語言代理能寫新工具,也不表示它在這個遊戲就應當領先,評測的價值正是讓兩種準備方式接受具體結果檢查。

遊戲需求與授權,也有目前的範圍

目前乘客與貨物沒有一開始就指定最終目的地,可以送到任何願意接收的地方。作者把更複雜的 CargoDist 目的地分配列為後續方向,因此不能說這次已測完整指定目的地運輸網路。

自行重現還要算推論費。程式庫說明預設透過 Prime Intellect 計費,並支援特定代理框架,公開程式不等於所有模型執行免費。

評測程式採 CC0,遊戲、圖像、音效與基準依賴仍有各自授權,多數涉及 GPL。若要沿用或散布,應分別確認,不把研究程式的條款套到整包所有素材。

這些限制決定了它適合回答哪一類研究問題,也讓結果更容易被正確沿用。

把一次路線決策接到後續結果,再看代理能否管理

我建議追蹤代理建完路線後如何發現問題、修改並確認改善。這是依任務設計提出的研究閱讀方式,本文沒有獨立執行評測,也沒有驗證真實企業收益。

例如觀察同一條路線,先看為何投資、建設是否完成,再看營運資料是否支持原先預期。若後來修改,也應能回到當時的資訊,知道它是因需求變化調整,還是補救前面漏掉的條件。

如果同時經營多條路線,也可以看代理如何在新增建設與既有維護之間安排注意力。一條新線可能有成長空間,另一條舊線卻正在出問題,有限資金與時間使兩者不能永遠同時優先。這個假設說明,長任務能力需要處理工作之間的取捨,而非只證明每個獨立操作都會執行。

這讓長任務的評分接回決策過程。只看最後總額,可能知道誰領先,卻看不出一項錯誤如何累積,或某個工具為什麼讓後續工作比較順利。

能說明決策與後續結果的關係,長任務評測才會比一個總分更有用。

延伸閱讀:Claude Opus 5 經營販賣機賺最多,卻學會串通?Vending-Bench 揭露 AI Agent 風險

OpenTTD-Bench 常見問題

AI 已經打敗專用規則程式了嗎?

作者截至十月底的結論仍是前沿語言代理落後規則基準。不同圖表的框架與設定也有差異,不能只依模型名字推成所有情況的勝負。

三小時代表模型一次能專心工作三小時嗎?

那是每回合大約實際耗時,包含持續觀察、寫工具與行動。世界在代理思考期間仍前進,成績要看整段營運,不只看是否持續輸出。

遊戲賺錢,能保證真實生意也賺錢嗎?

遊戲有指定規則、資訊和需求模型,與真實企業不同。它可以提供長任務決策的研究線索,無法代替現實商業驗證或保證投資收益。

讓長任務的進步,留下可回查的過程

OpenTTD-Bench 把代理放進不會停下來等人的環境,讓規畫、工具與營運結果互相影響。它值得關注的,是系統能否把一次好決定接成持續管理,以及錯誤能否被發現和修正。

下一步先看一項決策與後續資料怎麼對應,再看總分。研究者也應保留框架、時鐘與資源條件,才能知道下一次提升究竟從哪裡來。

延伸閱讀:Gemini 4 Carbon 發表:資安、長任務能力升級,誰能用、價格多少?

歡迎免費訂閱 AI 郵報,持續追蹤代理評測、工具與原始研究。

資料來源